编译 | 沈秋月

一位教授带着一名硕士生,只用不到一个小时,就写完了一篇研究论文。而且是从提出问题,制定分析计划,编写代码,进行分析,解释结果并撰写论文的全流程,一个环节都没少,中间甚至还插空去吃了个午饭。

他们是怎么做到的?

事件的主角是以色列理工学院的生物学家和数据科学家Roy Kishony和其学生Tal Ifargan。他们使用ChatGPT在极短时间内写完了一篇论文,题为《果蔬摄入量和体育锻炼对成年人糖尿病的影响》。这篇论文行文流畅,论证严密,并以研究论文的预期结构呈现。

Kishony认为,“它制作的手稿一点也不差。”

这对师生借助ChatGPT,1小时写完1篇论文

Roy Kishony(左)Tal Ifargan(右)

指导ChatGPT写论文

Kishony和学生的研究基于一个公开的电话调查数据集,是从美国疾病控制和预防中心的行为风险因素监测系统中下载而来。该数据集包含了超过250万人的糖尿病状况,以及果蔬消费和体育锻炼情况。

首先,他们要求ChatGPT编写代码用来发现数据中的模式,以便进一步深入分析。第一次尝试时,ChatGPT生成的代码出现明显错误,完全不能用。但是,当他们指出错误消息,并要求它纠正错误时,它最终产生了可用于探索数据集的正确代码。

在获得了更结构化的数据集后,他们要求ChatGPT帮助制定研究目标。ChatGPT建议他们探索身体活动和饮食如何影响糖尿病风险。生成了更多的代码之后,ChatGPT得出结论:多吃果蔬和加强锻炼可能会降低患糖尿病的风险。然后,他们提示ChatGPT在表格中总结关键发现,并编写整个结果部分。接着,再对ChatGPT循循善诱,要求其撰写稿件的摘要、介绍、方法和讨论部分。最后,他们要求ChatGPT完善文本。

Kishony认为,尽管ChatGPT生成了一份具有可靠数据分析的清晰手稿,但该论文远非完美。研究人员遇到的一个问题是ChatGPT倾向于通过编造数据来佐证自己的观点,让人难以识别,比如引用虚假论文。

这篇论文指出,该项研究“填补了研究领域的空白”——此类表述在论文中很常见,但又令人唏嘘。耶路撒冷希伯来大学的计算机科学家Tom Hope说,这一发现“不会让任何医学专家感到创新”。

Kishony表示,使用ChatGPT写论文是为了研究人机“联合驾驶”的能力,从而将ChatGPT的优势和缺陷摆上台面,供公众辩论。

ChatGPT在学术界如何自处

其实不久前,还有一位科学家用ChatGPT搞出了一件大事情。美国田纳西大学健康科学中心的放射科医生Som Biswas,在4个月内使用ChatGPT写了16篇论文,并在4个不同的期刊上发表了其中5篇。

必须说,随着ChatGPT的入局,AIGC(人工智能生成内容)数量井喷,尤其是在学界,ChatGPT更是成为科研人员的得力助手。

但问题也扑面而来。

Kishony就担心两个问题,一是这些工具可能会使研究人员学术不诚信,例如P-hacking(篡改P值)导致假阳性;二是科研人员利用人工智能生成论文的便利性,大量生产低质量论文。

在南澳大利亚大学开发人工智能教育技术的Vitomir Kovanović表示,人工智能工具在研究论文中的使用应该公开表明,否则,将很难评估一项研究的结果是否科学。“如果生产假论文这么容易,那我们维护学术正义还有很长一段路要走。”

生成式AI可以承担简单但耗时的任务来提升科研效率,例如编写摘要和生成代码。麻省理工学院布罗德研究所和哈佛大学的计算生物学家Shantanu Singh认为,“未来用生成式人工智能完成整篇论文不是一个好主意。”

早在今年3月,学生利用ChatGPT写论文、做作业就已然形成了一股势不可挡的浪潮,英国教育部十分担忧,牛津、剑桥、布里斯托、爱丁堡等8所罗素大学成员更是宣布禁止使用ChatGPT。

然而就在上周,牛津、剑桥、布里斯托、爱丁堡等24所罗素大学成员集体松口,宣布解除ChatGPT使用禁令。显然,他们不想错过生成式AI带来的全新教育和发展机遇。

24所大学副校长全力支持,联合发布了在教育中使用生成式AI工具的原则,制定相关使用规范课程和管理机构,旨在帮助学生以及研究人员科学、合理使用生成式AI工具。

罗素大学集团发布的生成式AI工具使用原则一共包括5项,以下是部分内容。

1.学校将培训学生和教职员工具备良好的人工智能素养。2.教职人员应具备引导学生在学习过程中有效、适当地使用生成式AI工具的能力。3.学校将调整教学和评估方式,生成式AI的合法使用是允许的,保证所有人平等使用。4.学校将全力维护学术严谨性,保证学术诚信。5.随着生成式AI在教育界深度应用,学校之间将通力合作,分享交流最佳实践。

参考资料:

https://www.nature.com/articles/d41586-023-02218-z

https://blog.sciencenet.cn/blog-41174-1394389.html

https://russellgroup.ac.uk/news/new-principles-on-use-of-ai-in-education/