ChatGPT:学术辅助工具的可靠性之疑
期刊论文

ChatGPT:学术辅助工具的可靠性之疑

【导读】 ChatGPT作为学术辅助工具,靠谱吗?《职业地理学家(The Professional Geographer)》近期刊载了一份研究报告对此进行了回答。通过分析ChatGPT引用的参考文献,该文作者惊奇发现这些参考文献基本是由AI凭空捏造的,这似乎意味着人工智能辅助学术科研还只是空中楼阁,这也提示我们可以通过甄别学生作业中的参考文献来判断其是否使用了ChatGPT。当然,尽管ChatGPT尚不成熟,但该技术在不需要太多参考文献的入门课程的教材编写方面还是能够发挥一定作用的。在不远的将来,“如何研判ChatGPT的信息质量从而去芜存菁、为我所用”显得越来越重要,而这无疑有赖于人们扎实的专业知识。 更多内容,敬请阅读: Terence Day. (2023). A Preliminary Investigation of Fake Peer-Reviewed Citations and References Generated by ChatGPT. The Professional Geographer, DOI:10.1080/00330124.2023.2190373 01 引言 ChatGPT是一个使用自然语言来回答问题的人工智能聊天机器人,自2022年11月试运行以来,它对社会与学界造成的影响已经不可小觑,而围绕这项技术的担忧和质疑也随之出现。 2023年2月,我使用ChatGPT(https://chat.openai.com/)查询有关自然地理和地理教育方面的信息,一些搜索结果里出现了闻所未闻的参考文献。经检查发现,这些文献既没有出现在所列的来源刊物中,也没有存在于其他期刊。鉴于此,我们对ChatGPT所引用参考文献的真实性进行了更为系统的调查,虽然调查依然比较粗浅,但已经发现了不少问题。 02 研究设计 为了测试ChatGPT引用的参考文献的真实性,我们进行了一次系统性调查。受The Professional Geographer上最近发表的五篇论文的启发,我们向ChatGPT提出了一些问题,这些问题包括:妇女、少数民族和残疾人的地理基础教育参与(Solem 2023)、向美国西部移民的原因(Otterstrom and Shumway 2023)、中国的人口增长(Shi et al. 2023)、数字地图的应用(Bravo and Sluter 2023)等。选择这些问题其实并没有什么特定依据,它们只是地理学家所关注的一些有代表性的问题样本。我们对ChatGPT提供的参考文献进行了严格检查,核实期刊名称、卷号、期号以及页码中是否存在错误。 03 结果 很不幸,ChatGPT的回答竟然全军覆没,无一例外。具体情况请看下表。...
AI写作软件风靡校园,学术诚信面临挑战
期刊论文

AI写作软件风靡校园,学术诚信面临挑战

随着毕业论文答辩和审核的高峰到来,部分高校学生利用AI写作软件如ChatGPT代写论文的现象引起了广泛关注。这些软件能协助完成论文的各个方面,包括罗列提纲、撰写内容和润色语言等,但有人担忧这会助长学术造假行为。虽然有些高校教师支持使用AI辅助论文写作,但也有一部分人坚决反对,认为应该严禁使用AI写作。目前,国内不少学术期刊已发布关于使用人工智能写作工具的说明,要求作者在文章中详细解释使用程度。
ChatGPT:革新还是噱头?浅谈其对自身免疫领域的冲击 | 热点话题
期刊论文

ChatGPT:革新还是噱头?浅谈其对自身免疫领域的冲击 | 热点话题

医脉通编辑整理,未经授权请勿转载。 科技蓬勃发展以来,其成果和创新逐渐改变着人们的生活和认知。最新的示例是ChatGPT——一款2022年11月30日公布于众的最新人工智能(AI)产品。人工智能(AI)最早是由数学家艾伦·麦席森·图灵于1950年提出,描述了使用计算机进行批判性思维和其他类人智能能力的概念。人工智能首次应用于医学领域是在1976年,当时探索了使用计算机分析诊断急性腹痛的可能性。 在过去的二十年中,现代医学在许多工作中使用了人工智能,例如支持临床医生诊断、预测某些疾病的预后,甚至制定治疗方案。自身免疫领域是一个快速发展、且涉及范围广泛的学科,其在COVID-19中发挥的作用使之成为过去几年中研究最多的话题之一。近日,期刊Autoimmun Rev.(影响因子17.390)发表综述《ChatGPT与自身免疫——知识战场上的新武器》,首次在正式论文中探讨了ChatGPT在自身免疫等医学领域的作用,说明该项技术的最新应用和局限性。 ChatGPT与医学的渊源 人工智能问世不久,但发展迅速,主要是因为其具有强大的计算能力。事实上,聊天机器人或大型语言模型(以类似人类的方式理解和响应用户输入的内容,例如ChatGPT)已面世一段时间,并非人工智能领域最近的创新。ChatGPT是一种基于人工智能的语言聊天机器人,属于自然语言处理模型,可根据给定的任务提供复杂而“人性化”的答案,自其发布以来受到各界的广泛关注。 2022年12月19日,美国加州安赛博健康公司的Victor Tseng和麻省总医院的Tiffany H. Kung等发表论文,公布了他们评估ChatGPT在美国医疗执照考试中的性能:ChatGPT在没有任何专业培训或强化的情况下,在美国医疗执照考试的三个阶段测试中都达到或接近及格门槛。此外,ChatGPT还表现出高度的一致性和洞察力。这无疑再次激发了人工智能是否终将替代医生,由此彻底颠覆当代临床医学的讨论。对此,有学者认为大型语言处理模型具有辅助医学教育甚至辅助临床决策的巨大潜能。 ChatGPT在自身免疫等医学领域的潜在应用 ChatGPT的潜在用途非常广泛,从帮助学者进行学术写作,到为软件工程师编写代码。由于ChatGPT是一种大型语言模型,它可以提供直接的答案,而不是像谷歌或其他搜索引擎一样给出数百个来源和/或链接。因此它可作为研究人员撰写论文时的辅助工具。客观上,ChatGPT或将帮助临床医生解脱“爬格子”写论文的痛苦。但这引起了巨大争议,导致一些科学期刊禁止将ChatGPT列为作者。例如Nature出于审慎,禁止包括ChatGPT在内的大型语言模型工具(LLM)署名论文作者,若实际使用,则要在论文方法或致谢部分明确说明。同时,ChatGPT还可以在研究设计、数据分析和建议方法等多个方面帮助研究人员,它甚至可以筛出某些研究中的关键优点或弱点,以帮助研究人员提高效率。 从临床自身免疫和风湿病学的角度来看,ChatGPT的潜在用途是可以提供和总结相关的指南和治疗方案,包括治疗的潜在获益、不良反应和药物相互作用。自身免疫疾病通常较难确诊,ChatGPT可以帮助临床医生推荐某些诊断相关检查,例如实验室或影像学检查,以帮助缩小鉴别诊断范围。 ChatGPT可以在管理电子健康记录(EHR)方面发挥作用,帮助临床医生完成数据输入、数据提取和数据分析等任务。此外,它还可以对患者进行有关其状况和生活方式的指导教育,甚至提供营养和运动计划方面的建议。与谷歌和其他搜索引擎不同,患者很难通过ChatGPT进行“自我诊断”,因为它只向患者提供一般疾病信息,并建议他们咨询医疗专业人员进行评估和诊断。 ChatGPT应用于医学领域的局限 与潜在价值并行,目前ChatGPT(以第四代版本为例)也有其显然易见的局限性,例如数据截至2021年9月导致信息不完整,缺乏个性化,隐私问题,临床验证不足和无法诊断等。 将“ChatGPT应用于医学领域的局限“这一问题抛给ChatGPT,以下是它给出的回答: 数据质量:ChatGPT主要是通过互联网上的数据进行学习和生成文本,但这些数据质量不一,可能存在错误和偏差,这可能会影响ChatGPT的准确性和可靠性。 诊断和治疗方案:ChatGPT可以提供一定的诊断和治疗建议,但对于某些疾病和症状,ChatGPT可能无法提供准确的建议,这可能会导致患者的健康风险。 伦理问题:在医学领域中,保护患者和病人的隐私和权益是非常重要的。ChatGPT会根据互联网上的数据来生成文本,因此可能会涉及到患者的个人信息和隐私,需要更加谨慎地处理。 模型的可解释性:ChatGPT是一种黑箱模型,难以解释它生成文本的原因和过程。在医学领域中,需要对模型的决策和结果进行解释,这可能会对ChatGPT的应用造成限制。 不适用于紧急情况:在紧急情况下,如心脏骤停,ChatGPT无法提供及时的诊断和治疗建议,这可能会影响患者的生命安全。 此外,ChatGPT的优点是可训练,缺点也是可训练,如果别有用心的人用数据炸弹去训练无监管的ChatGPT,可能会诱导其给出商业化的特定答案。这是未来我们使用ChatGPT要保持审慎态度的重要原因之一。而ChatGPT进入医学领域还将带来一系列的重要问题。例如医生的工作是否将被自动化?人工智能是否能代替医生提供诊疗意见?医生是否终将被取代?然而,这些问题的答案并不是非黑即白。需要我们通过科学和客观眼光来看待ChatGPT在医学领域的应用。 未来,希望随着ChatGPT的不断迭代更新,它可以为医学领域发展注入更多的能量、带来更多可能,让人工智能真正帮助医生,帮助患者! 参考文献: Darkhabani M, Alrifaai MA, Elsalti A, Dvir YM, Mahroum N. ChatGPT and autoimmunity – A new weapon in the battlefield of...