AI聊天机器人写出的研究论文摘要能骗过专家审核吗？

文章主题：AI聊天机器人, 预印本报告, ChatGPT, 伦理问题

根据一份预印论文报告的内容，人工智能聊天机器人ChatGPT就此写出的研究论文摘要，居然连专家都难以完全辨别。

编辑 | 周子意

在bioRxiv平台于12月底发布的预印报告中，一项引人关注的研究发现，一款人工智能（AI）聊天机器人所撰写的论文摘要，竟然能够在一定程度上模仿专家评审的水平。此消息公布后，引发了广泛的关注，关于这款AI机器人的影响力，学术界产生了极大的兴趣和讨论。

AI聊天机器人写出的研究论文摘要能骗过专家审核吗？

ChatGPT 聊天机器人的所有者， OpenAI 一家总部位于旧金山的软件公司，于11月30日推出了这款人工智能工具，并为其提供了一个免费试用期。

ChatGPT是一种能够根据用户指示生成真实而智能文本的技术。作为一个人工智能助手，它依赖于一种被称为“大型语言模型”的神经网络系统来完成这一任务。这个系统通过分析海量的人工生成的文本，从中学习和获取知识，进而能够自动地生成符合用户需求的文本内容。

上周，有消息称，美国科技巨头微软计划向OpenAI投资高达100亿美元，目前尚处于谈判阶段。

▌难以区分

自该机器人推出以来，其输出的许多内容难以鉴别真伪，这使得研究人员不断对其应用所涉及的伦理问题进行深入探讨和研究。

在当前科研环境中，利用先进技术提高工作效率已成为普遍趋势。近期，由伊利诺斯州西北大学的Catherine Gao领导的研究小组展开了一项创新性的研究：采用ChatGPT技术生成研究论文摘要，旨在探讨科学家能否通过这种方式发现新的研究思路。这一突破性的尝试，无疑将推动学术界的发展，同时也为未来的科研工作提供了新的可能性。

作为一名专业的文章写作高手，我会按照您的要求，以ChatGPT为对象，依据其在四大医学顶级期刊《美国医学院杂志》、《新英格兰医学杂志》、《英国医学杂志》、《柳叶刀》以及其子刊《自然医学》上发表的精彩文章，为您撰写50篇具有深度和广度的医学研究摘要。这些摘要将全面、准确地概括各篇文章的研究背景、目的、方法、结果和结论，以期让读者对这些研究成果有更清晰、深入的理解。

随后该小组通过抄袭检测系统和人工智能输出检测器，将这些摘要与原始摘要混在一起匿名比较，要求一组医学研究人员找出由ChatGPT输出的摘要。

结果显示，ChatGPT生成的摘要顺利通过了抄袭检查：其原创性平均得分为100%，这表明没有检测到抄袭。人工智能输出检测器发现了66%的由ChatGPT生成的摘要。

而人工审阅者错误地将32%的生成摘要识别为原始摘要。

▌重大争议

Gao和他的同事在预印本报告中写道，ChatGPT确实写出了可信的科学摘要，不过使用大型语言模型来帮助科学方面的写作，其道德界限和可接受程度仍有待商榷。

英国牛津大学技术和监管领域学者Sandra Wachter不是此次研究的参与者，但是她对此表示非常担心。她补充道，“如果我们现在处于连专家都无法判断真假的情况下，那么我们就不会再看到那些能够在复杂话题中指导我们的论文摘要。”

Wachter提醒道，如果由ChatGPT生成的论文内容无法确定是否正确，那可能会有“可怕的后果”。这不光会给研究人员带来重大问题，因为他们阅读的研究是被捏造出来的；而且对整个社会也有影响，因为科学研究在社会中扮演着重要角色。

Wachter警告，更严重的或许导致基于研究的政策决定出现失误。

新泽西州普林斯顿大学的计算机科学家Arvind Narayanan认为，“任何严肃的科学家都不太可能使用ChatGPT来生成摘要。”

他补充道，“问题在于，该工具能否生成准确而令人信服的摘要。若是不能，那它的缺点是显著的。”

Narayanan还表态，此类问题的解决方案不在ChatGPT本身，而是应该集中在导致这种行为的不良动机上，例如招聘和晋升审查时只看论文的量、而不看质。

人工智能公司Hugging Face研究人员Irene Solaiman则认为，“这些AI模型是根据过去的信息进行训练的，而社会和科学的进步往往来自于与过去不同的思维，或开放思维。”