AI聊天机器人生成的研究论文摘要能够骗过专家审核吗？

在bioRxiv平台于12月底发布的预印报告中，一项引人关注的研究发现，一款人工智能（AI）聊天机器人所撰写的论文摘要，竟然能够在一定程度上模仿专家评审的水平。此消息公布后，引发了广泛的关注，关于这款AI机器人的影响力，学术界产生了极大的兴趣和讨论。

ChatGPT 的拥有者， OpenAI，一家总部位于旧金山的软件公司，于去年11月30日推出了这款人工智能助手。为了吸引更多的用户体验，OpenAI 提供了该产品的免费试用。

ChatGPT是一种能够根据用户指示生成真实而智能文本的技术。作为一个人工智能助手，它依赖于一种被称为“大型语言模型”的神经网络系统来完成这一任务。这个系统通过分析海量的人工生成的文本，从中学习和获取知识，进而能够灵活地应对各种文本生成任务。

上周，有消息称，美国科技巨头微软计划向OpenAI投资高达100亿美元，目前尚处于谈判阶段。

　　难以区分

自该机器人推出以来，其输出的许多内容难以鉴别是否由人类创作，这使得研究人员持续致力于解决与其相关的伦理难题。

在当前的科研环境中，利用先进的技术工具提升研究效率已成为普遍趋势。近期，一组来自伊利诺斯州西北大学的学者们在这方面进行了创新性的尝试。他们由Catherine Gao领导，组成一个研究团队，针对科学家是否能通过人工智能技术发现新的研究成果展开了一项实验。具体而言，他们采用了目前流行的ChatGPT模型，生成了一系列研究论文摘要，然后将这些摘要提交给科学家们进行评估。这一举措旨在探讨人工智能技术在辅助科学家发现新知识方面的潜力。

作为一名专业的文章写作高手，我会按照您的要求，以ChatGPT为对象，依据其在四大医学顶级期刊《美国医学院杂志》、《新英格兰医学杂志》、《英国医学杂志》、《柳叶刀》以及其子刊《自然医学》上发表的精彩文章，为您撰写50篇具有深度和广度的医学研究摘要。这些摘要将全面、准确地概括各篇文章的研究背景、目的、方法、结果和结论，以期让读者对这些研究成果有更清晰、深入的理解。

在接下来的步骤中，研究团队运用了抄袭检测系统以及人工智能输出检测器，将所提供的摘要与原始摘要混合在一起，并以匿名的方式进行比较。研究小组的目的是识别出由ChatGPT生成的摘要。

根据研究结果，ChatGPT生成的摘要成功通过了抄袭检查，其原创性平均得分达到了100%，这充分说明 no plagiarism（非抄袭）的要求已经得到满足。此外，人工智能输出检测系统识别出了ChatGPT生成的摘要中66%的内容存在重复。

而人工审阅者错误地将32%的生成摘要识别为原始摘要。

　　重大争议

Gao和他的同事在预印本报告中写道，ChatGPT确实写出了可信的科学摘要，不过使用大型语言模型来帮助科学方面的写作，其道德界限和可接受程度仍有待商榷。

英国牛津大学技术和监管领域学者Sandra Wachter不是此次研究的参与者，但是她对此表示非常担心。她补充道，“如果我们现在处于连专家都无法判断真假的情况下，那么我们就不会再看到那些能够在复杂话题中指导我们的论文摘要。”

Wachter提醒道，如果由ChatGPT生成的论文内容无法确定是否正确，那可能会有“可怕的后果”。这不光会给研究人员带来重大问题，因为他们阅读的研究是被捏造出来的；而且对整个社会也有影响，因为科学研究在社会中扮演着重要角色。

Wachter警告，更严重的或许导致基于研究的政策决定出现失误。

新泽西州普林斯顿大学的计算机科学家Arvind Narayanan认为，“任何严肃的科学家都不太可能使用ChatGPT来生成摘要。”

他补充道，“问题在于，该工具能否生成准确而令人信服的摘要。若是不能，那它的缺点是显著的。”

Narayanan还表态，此类问题的解决方案不在ChatGPT本身，而是应该集中在导致这种行为的不良动机上，例如招聘和晋升审查时只看论文的量、而不看质。

人工智能公司Hugging Face研究人员Irene Solaiman则认为，“这些AI模型是根据过去的信息进行训练的，而社会和科学的进步往往来自于与过去不同的思维，或开放思维。”

Solaiman补充说，在医学等关键领域，假信息可能危及人类的安全，所以一些期刊必须采取更严格的方法来验证信息的准确性。

该预印报告的研究小组建议，那些评估科学传播的人士应该制定政策，杜绝使用人工智能生成的文本。而要是机构选择允许在某些情况下使用该技术，他们应该就披露建立明确的规则。