用ChatGPT写论文靠谱吗？有学者试了一下：漏洞百出新智元2023-02-08 14:17北京
编辑：LRS 【新智元导读】虽然ChatGPT写的论文错误太多，但掠夺性期刊应该会接收。（错误尝试！！） ChatGPT以其强大的文本创作能力，直接问鼎地表最强问答模型。 但强大的AI也会带来一些负面影响，比如在问答社区一本正经地写出错误答案，帮助学生写论文等。 最近arXiv上的一篇论文引发了业界的关注，来自西班牙圣地亚哥-德孔波斯特拉大学的研究人员在文中以「人工智能在药物发现中的挑战、机遇和策略」，这篇论文的特别之处在于作者使用ChatGPT辅助论文写作。 论文链接：https://arxiv.org/abs/2212.08104 作者团队在摘要中的最后一段「来自人类作者的说明」（Note from human-authors）中表示，创建这篇论文是为了测试 ChatGPT (一个基于 GPT-3.5语言模型的聊天机器人)的写作能力是否能帮助人类作者撰写评论文章。 作者设计了一段指令作为文本生成的初始提示，然后对自动生成的内容进行评估。再进行彻底的审查之后，人类作者实际上重写了手稿，努力在原始proposal和科学标准之间保持平衡，文章的最后也讨论了使用人工智能实现这一目标的优势与局限性。 但是还有一个问题，作者列表里怎么没有ChatGPT？（手动狗头） 论文写作方法 本文是在ChatGPT的辅助下生成的，ChatGPT是2022年11月30日发布的一个自然语言处理系统，由OpenAI用大量文本语料库进行训练，能够根据提供给它的输入生成类似人类写作的文本。 就本文而言，人类作者提供的输入包括论文的主题（人工智能在药物发现中的应用）、需要考虑的章节数量，以及每个章节的具体提示和说明。 ChatGPT生成的文本需要经过人工编辑后才能作为最终的定稿，以纠正和丰富内容，避免重复和不一致等问题；并且人类也需要对人工智能建议的所有参考文献进行了修改。 这项工作的最终版本是人类作者在人工智能的协助下进行反复修改的结果，直接从ChatGPT获得的初步文本与当前版本手稿之间的总相似度为：完全相同的4.3%，微小的变化13.3%，相关的意义16.3%。直接从ChatGPT获得的初步文本中，正确的参考文献比例仅为6%。 由ChatGPT生成的原始版本，以及用于创建该版本的输入信息都涵盖进来作为Supporting Information 论文摘要中的插图由DALL-E生成。 论文内容 论文总共包括10个section和56个参考文献，其中section1-9都只包含1-2个段落，主要描述论文主题「「人工智能在药物发现中的挑战、机遇和策略」」相关的内容；第十个section主要讨论「人类作者对基于ChatGPT和AI的科学写作工具的专家意见」；文章中只有摘要部分包含一张插图。 摘要 人工智能有可能彻底改变药物发现过程，提供更好的效率、准确性和速度。然而，AI的成功应用取决于高质量数据的可用性、对道德问题的处理以及对基于人工智能方法的局限性的认识。 这篇文章回顾了人工智能在这个领域的好处、挑战和缺点，并提出了克服目前障碍的可能战略和方法。 文章中还讨论了数据增强的使用、可解释的人工智能、人工智能与传统实验方法的整合，以及人工智能在医药研究中的潜在优势。 总的来说，这篇评论强调了人工智能在药物发现中的潜力，并对实现其在该领域的潜力所面临的挑战和机遇进行了深入探讨。 人类作者对基于ChatGPT和AI的科学写作工具的专家意见 ChatGPT是一个基于GPT-3.5语言模型的聊天机器人，它的设计目标并非是撰写科学论文的助手，但它与人类进行连贯的对话并就广泛的主题提供新信息的能力，以及它纠正甚至生成计算代码的能力，都让科学界感到惊讶。 因此，我们决定测试它的潜力，为编写关于人工智能算法在药物发现中的作用的简短评论做出贡献。 作为撰写科学论文的助手，ChatGPT有几个优点，包括快速生成和优化文本的能力，以及帮助用户完成几个任务，包括组织信息，甚至在某些情况下连接思想。 然而，这个工具绝不是生成新内容的理想工具。 输入instructions后，还需要人类对人工智能生成的文本进行修改，而且是大篇幅的编辑和修正，包括替换几乎所有的参考文献，因为ChatGPT提供的参考文献明显不正确。 这也是ChatGPT目前存在的一个大问题，它与其他计算工具（如搜索引擎）相比有一个关键的区别，后者主要是为所需的信息提供可靠的参考。 而采用基于人工智能的工具进行写作辅助还存在另一个重要的问题：它是在2021年训练的，所以它并不包括最新信息。 这次写作实验提供的结果就是：我们可以说ChatGPT不是一个有用的工具，在没有强大的人类干预的情况下无法编写可靠的科学文本。 ChatGPT缺乏准确和充分传达复杂科学概念和信息所需的知识和专长。 此外，ChatGPT使用的语言和风格可能不适合学术写作，为了生成高质量的科学文本，人类的输入和审查是必不可少的。 这种人工智能还不能用于生产科学文章的主要原因之一是它缺乏评估处理信息真实性和可靠性的能力，因此，由ChatGPT生成的科学文本肯定包含错误或误导性信息。 同样需要注意的是，审稿人可能会发现区分由人类或这个人工智能写的文章并非易事。 这使得审查过程必须彻底，以防止虚假或误导性信息的发表。 一个真正的风险是，掠夺性期刊（predatory journals）可能利用科学文章的快速生产来产生大量的低质量内容，这些期刊往往受利益驱使，而不是致力于科学进步，它们可能利用人工智能快速生产文章，让不合格的研究充斥市场，破坏科学界的公信力。 最大的危险之一是科学文章中虚假信息的潜在扩散，这可能导致科学事业本身的贬值，失去对科学研究的准确性和完整性的信任，会对科学的进步产生不利影响。...
