研究人员让ChatGPT写了一篇论文，质量如何？
原文作者：Gemma Conroy
研究人员成功设计了一个能够向ChatGPT发送“提示”的自动化系统,并利用该系统生成了一篇具有深刻见解且语言通顺的论文。然而,他们仍然存在一定的担忧和疑虑。
两位科研人员在ChatGPT的帮助下，只用不到一个小时就完成了一篇论文。ChatGPT是由人工智能（AI）驱动的数字工具，能理解和生成类似人类书写的文本。这篇论文流畅、有见地，格式也符合科研论文的标准，但研究人员表示，ChatGPT在能真正大派用场之前还有很多障碍需要克服。
在学术论文撰写过程中，人工智能对话机器人ChatGPT发挥着越来越重要的作用。为了提高论文写作效率与质量，研究人员正尝试让ChatGPT担任“副驾”，协助作者完成文献综述、观点阐述等任务。通过将人类智慧与AI技术的结合，有望实现更高效、精准的论文创作。
在本次实验中，我们旨在发掘ChatGPT在科研领域中作为”副驾驶”的潜力，并对其優缺點進行深入探討。以色列理工学院（Technion）的生物學家兼數據科學家Roy Kishony表示，”我们需要在發揮其優勢的同時，防止其劣势的發生。”
一个由专业人士组成的团队开发了一款软件程序，该程序能够向ChatGPT发送提示信息，并根据ChatGPT的反馈来优化和改进论文内容。这个被称为“自动化论文生成”的系统，引领着ChatGPT完成一种类似于科研工作的“分阶段”流程——从初始的数据探索，到编写数据分析代码、解读结果，最后达到撰写论文和润色的阶段。
为评估他们的系统性能，Kishony及其学生、 Technion 的数据科学家Tal Ifargan 从美国疾病控制中心的健康行为危险因子监测系统获取了一份公开数据集。这个系统是一个以电话调查形式收集的健康相关信息的数据库，涵盖了超过25万名参与者的信息。这份数据集包含了关于参与者糖尿病状况、蔬菜摄入量以及体育锻炼等方面的详细信息。
启动系统后，他们便去吃午饭了。
论文的基本要素
在数据探索过程中，系统首先委托ChatGPT编写相关代码。然而，ChatGPT所提交的代码存在诸多问题，无法正常运行。系统在发现这些错误后，会自动将提示反馈给ChatGPT，促使ChatGPT对代码进行修正。
在接下来的步骤中，Kishony和Ifargan的团队将利用ChatGPT来设定一个研究目标。这个目标将聚焦于探究身体锻炼和饮食如何影响糖尿病的患病风险。在得到ChatGPT的建议后，系统将制定一个数据分析计划，并编写相应的数据分析代码。通过运行这些代码，ChatGPT得出了以下结论：增加水果和蔬菜的摄入量以及坚持身体锻炼可以有效降低糖尿病的风险。
在获得成果之后，系统启动了ChatGPT撰写论文的过程。首先，系统与ChatGPT展开了一场对话，扮演科研人员的角色，引导ChatGPT完成论文各个部分的组织。接着，系统又与ChatGPT进行了第二次对话，这次ChatGPT转换为审稿人的身份，针对“科研人员”版ChatGPT所生成的文本给予建设性的建议和意见。
生成式AI的一个问题是它们会通过胡编乱造来填补空白，这个现象也被称为幻觉（hallucination）。 为了防止它乱编参考文献，团队让ChatGPT接入了文献搜索引擎，以便它能给出正确的引用渠道。
就在他们快吃完午饭时，ChatGPT已经生成了一篇数据分析可靠、简明清晰的手稿。但这篇论文谈不上完美。比如，这篇论文写道，该研究“填补了学术文献的一个空白”，这句话在论文中很常见，但在这个研究中是不准确的，希伯来大学计算科学家Tom Hope说。研究结果“肯定不会让医学专家眼前一亮，”他说，“连创新都谈不上。”
利与弊
Kishony还担心， 这类工具会让研究人员更容易出现科研不端的行为，比如P值操纵（P-hacking），也就是科研人员会用一个数据集检验多个假说，但最后只报道有显著结果的那个。
他的另一个担忧是， 如果生成式AI工具让写论文变得很容易，期刊可能会面对大量低质量投稿。他说他的“从数据到论文”加上每一步都有人类监管的方法，或能作为研究人员轻松理解、检查、复制研究方法和研究结果的一种方式。
南澳大学开发教育AI技术的Vitomir Kovanović说， AI工具在科研论文中的使用需要更高的可见度。否则很难评估研究结果的正确性，他说，“如果生产假论文变得这么容易，我们今后可能要做得更多。”
生成式AI工具可用来执行简单直接但很费时的任务，加速科研进度，这类任务包括写摘要和代码，美国麻省理工学院和哈佛大学的博德研究所的计算生物学家Shantanu Singh说。他说，它们或许还能从数据集生成论文，或是提出假说。不过，由于研究人员很难分辨这些工具的幻觉和偏见，Singh说， “我不认为把整篇论文拿给它写是个好主意，至少在可见的未来还不行。”
原文以Scientists used ChatGPT to generate an entire paper from scratch — but is it any good?标题发表在2023年7月7日《自然》的新闻版块上
© nature
本文经授权转载自 Nature Portfolio（ID：nature-portfolio），如需二次转载请联系原作者。欢迎转发到朋友圈。 返回搜狐，查看更多
责任编辑：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
