文章主题:关键词:ChatGPT, AI模型, 内容生成, 医学论文摘要

666AI工具大全,助力做AI时代先行者!

2023年4月26日,《Nature》子刊《NPJ DIGITAL MEDICINE》(IF= 15.357)刊登了一项研究,对于ChatGPT生成的论文摘要和真实发表的摘要,AI检测工具和审稿人是否能正确识别出来呢?让我们看一下这项研究的发现。

ChatGPT:AToolforContentGenerationinAcademicWriting?

在现代社会中,人工智能(AI)已成为许多行业的重要组成部分。随着技术的不断发展,AI的应用范围越来越广泛,从医疗保健、金融、交通到制造业等各个领域都取得了显著的成果。尤其是在医疗保健领域,AI技术的发展为疾病诊断和治疗带来了革命性的变化。本文将探讨AI在医疗保健领域的应用及其对医疗行业的影响。首先,AI技术在医疗保健领域的诊断方面发挥着重要作用。通过深度学习和大数据分析等技术,AI可以帮助医生更准确地识别疾病,提高诊断的准确性。此外,AI还可以协助医生进行远程诊断,使得医疗资源更加均匀地分布在全球各地,特别是在偏远地区。这种远程诊断的方式不仅节省了时间和成本,还降低了交叉感染的风险。其次,AI技术在医疗保健领域的治疗方面也取得了显著的成果。例如,在癌症治疗中,AI可以通过对患者的基因信息和临床数据进行分析,制定出更加精确的治疗方案。这种个性化的治疗方式可以显著提高患者的生存率和生活质量。此外,AI还可以帮助医生进行手术模拟和规划,提高手术的安全性和成功率。最后,AI技术在医疗保健领域的研究方面也发挥着重要作用。通过对大量的医学文献和数据进行分析,AI可以帮助科学家更好地理解疾病的发病机制,从而为疾病的预防和治疗提供新的思路。同时,AI还可以协助医生进行药物研发,加快新药的研发速度和降低研发成本。总之,AI技术在医疗保健领域的应用为医疗行业带来了革命性的变化。随着技术的不断发展和完善,我们可以期待AI在未来带来更多的突破和创新,为人类的健康事业做出更大的贡献。

在2022年11月30日,人工智能领域的领军企业OpenAI推出了一款具有革命性的AI工具——ChatGPT。这款产品的发布立即引发了业界对于AI模型生成内容能力的关注,同时也有不少文章开始探讨ChatGPT可能带来的影响以及潜在的争议。

有文章哀叹大学布置的作业已失去意义,因为ChatGPT可以生成高分论文,还能正确回答考试问题,甚至可以清晰地表达批判性思维。目前,ChatGPT在论文写作中可接受的界限尚不清楚,不过一些出版商已制定了相关政策。

大型语言模型(LLM)生成的文本,很难与人编写的文本区分开来。随着ChatGPT的发布,强大的LLM技术提供给广大用户,数百万人正在使用这项新技术。那么问题来了,ChatGPT能写出令人信服的医学研究论文摘要吗?

先看一下ChatGPT生成的论文摘要

本研究从这5本期刊收集了最新几期发表的50篇真实文章标题和摘,5本期刊是Nature Medicine,JAMA,NEJM,BMJ和Lancet。研究者基于这些论文的标题让ChatGPT生成摘要,给ChatGPT发送的要求是:按照[xx]期刊的格式撰写一篇题为[xx]的文章。ChatGPT也生成了50篇医学论文摘要

ChatGPT生成的内容在表面上看似一篇医学论文摘要,然而实际上,仅有8篇(占16%)摘要符合相应期刊的摘要格式要求。尽管如此,生成摘要的样本量与原始摘要的样本量大致相当。

ChatGPT:AToolforContentGenerationinAcademicWriting?

图. ChatGPT生成的NEJM文章摘要,该标题对应的真实论文详见:

N Engl J Med. 2022;387(24):2245-2257.

AI检测器能识别出生成的摘要吗?

“GPT-2 Output Detector”是一款AI 内容检测工具,可以检测内容是人工智能生成的还是人类编写的,对于检测的内容会给出一个“fake”分数,分数越高,代表该内容由AI算法生成的可能性越大

对于ChatGPT生成的论文摘要,“GPT-2 Output Detector”认为AI生成的可能性很高,“fake”得分的中位数达到99.98%,而真实摘要的“fake”得分中位数仅为0.02%。“GPT-2 Output Detector”区分真实摘要和生成摘要的灵敏度为86%,特异度达到94%。

ChatGPT:AToolforContentGenerationinAcademicWriting?

图. 很多生成的摘要可以被AI检测器识别出来

在研究中,作者采用了两种不同的文本检测工具来评估所涉及的摘要的原创性。其中,免费使用的抄袭检测网站Plagiarism Detector 20被用来检测真实摘要与生成的摘要之间的重复率,而付费的查重工具iThenticate 23则用于衡量原始摘要与生成的摘要之间的相似度。根据这两款工具的检测结果,得分越高意味着重复率越高。具体来说,在Plagiarism Detector网站上,真实摘要的“疑似抄袭”得分中位数为62.5%,而生成的摘要则为0%。而在iThenticate的工具报告中,原始摘要的相似指数中位数为100,生成的摘要相似度为27。这些数据反映了摘要生成工具的效率以及其生成的摘要与真实摘要之间的差异,为后续的研究提供了有价值的参考。

审稿人能够识别出生成的摘要吗?

几位审稿人同时收到了真实摘要和生成的摘要。结果显示,他们能够将68%的生成摘要识别出来,也能将86%的真实摘要识别正确。换言之,这些审稿人将32%的生成摘要判定为真实的摘要,将14%的真实摘要当成是生成的

审稿人总结说,由ChatGPT生成的摘要内容肤浅且含糊,也会关注到一些细节,例如会包含临床试验注册号。被审稿人识别出的生成摘要和未能识别出的生成摘要,通过“GPT-2 Output Detector”进行检测,发现两者的“fake”得分没有统计学差异。

本研究揭示了ChatGPT生成的摘要在AI检测模型中可以被识别,同时人类也可以轻易地辨别出其中的大部分内容。然而,仍然存在误判的可能性。

人工智能生成的论文容易被“论文工厂”等不法分子用于欺诈行为,这是一个不容忽视的问题。然而,从另一个角度来看,研究人员实际上可以利用这种技术来降低写作和格式化的工作强度,提高工作效率。

大型语言模型是否能用于论文写作,不同的期刊和出版商正在或已制定自己的政策,有的不允许任何人工智能生成的文本,有的是只要公开披露就可以。

参考文献:NPJ Digit Med. 2023;6(1):75.

点击左下角“阅读原文”,免费学习70多篇SPSS教程、30多篇R教程,以及更多免费科研教程!

ChatGPT:AToolforContentGenerationinAcademicWriting?

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号AIGC666aigc999或上边扫码,即可拥有个人AI助手!