【导读】
ChatGPT作为学术辅助工具，靠谱吗？《职业地理学家（The Professional Geographer）》近期刊载了一份研究报告对此进行了回答。通过分析ChatGPT引用的参考文献，该文作者惊奇发现这些参考文献基本是由AI凭空捏造的，这似乎意味着人工智能辅助学术科研还只是空中楼阁，这也提示我们可以通过甄别学生作业中的参考文献来判断其是否使用了ChatGPT。当然，尽管ChatGPT尚不成熟，但该技术在不需要太多参考文献的入门课程的教材编写方面还是能够发挥一定作用的。在不远的将来，“如何研判ChatGPT的信息质量从而去芜存菁、为我所用”显得越来越重要，而这无疑有赖于人们扎实的专业知识。
更多内容，敬请阅读：
Terence Day. (2023). A Preliminary Investigation of Fake Peer-Reviewed Citations and References Generated by ChatGPT. The Professional Geographer, DOI:10.1080/00330124.2023.2190373
01
引言
ChatGPT是一个使用自然语言来回答问题的人工智能聊天机器人，自2022年11月试运行以来，它对社会与学界造成的影响已经不可小觑，而围绕这项技术的担忧和质疑也随之出现。
2023年2月，我使用ChatGPT（https://chat.OpenAI.com/）查询有关自然地理和地理教育方面的信息，一些搜索结果里出现了闻所未闻的参考文献。经检查发现，这些文献既没有出现在所列的来源刊物中，也没有存在于其他期刊。鉴于此，我们对ChatGPT所引用参考文献的真实性进行了更为系统的调查，虽然调查依然比较粗浅，但已经发现了不少问题。
02
研究设计
为了测试ChatGPT引用的参考文献的真实性，我们进行了一次系统性调查。受The Professional Geographer上最近发表的五篇论文的启发，我们向ChatGPT提出了一些问题，这些问题包括：妇女、少数民族和残疾人的地理基础教育参与（Solem 2023）、向美国西部移民的原因（Otterstrom and Shumway 2023）、中国的人口增长（Shi et al. 2023）、数字地图的应用（Bravo and Sluter 2023）等。选择这些问题其实并没有什么特定依据，它们只是地理学家所关注的一些有代表性的问题样本。我们对ChatGPT提供的参考文献进行了严格检查，核实期刊名称、卷号、期号以及页码中是否存在错误。
03
结果
很不幸，ChatGPT的回答竟然全军覆没，无一例外。具体情况请看下表。
04
讨论
这些所谓的参考文献都是英文的，而且“出自”备受推崇的权威期刊上，页码也符合期刊的实际情况，似乎很规范，乍一看确实容易把人唬住。然而，当查阅所列期刊及其页码时，会发现该页文献与ChatGPT所引用的文献毫无关联。
ChatGPT列出的许多作者都是在该领域享有很高名誉的行家，但这些作者压根儿就并没有发表过ChatGPT引用的这些文献。
这些文献的来源刊物是真实存在的，甚至主题也一致，这进一步加强了欺骗性。比如，ChatGPT在回答地理教育相关问题时引用的期刊主要来自Journal of Geography、the Journal of Geography in Higher Education，而这两本期刊确实是地理教育领域的旗舰刊物。
研究过程中使用ChatGPT必须受到严重质疑。任何对ChatGPT甚至是ChatGPT“共同作者”身份的承认都应当提醒编辑们这篇文章可能存在不少潜在问题。如果没有对ChatGPT提供的相关信息加以核实，文章可能会出现多个假参考文献，这意味着作者可能存在学术不端行为。同行评议和编辑过程现在变得复杂起来，不仅需要检查参考文献的格式，还应检查它们的真实性，这让人不免对前段时间的一个设想开始心生怀疑，即“对于正在赶进度的博士生、需要快速进行文献回顾的研究者以及极其忙碌的审稿人，可以使用AI聊天机器人来协助快速完成任务”。
从学生学术诚信的角度来看，虚假参考文献的存在为检查学术不端行为提供了一个有用的工具。当然，这也给学生作业的评价与检查带来了额外负担。我们可以要求学生提供所引用文献的DOI号，如果点击该链接后论文没有出现，那么该论文很有可能是假的，或者至少需要进一步检查。
作为内容策划者的教师或许可以使用AI聊天机器人来协助快速编写不需要参考资料的入门课程教学材料。例如，我们开始用它来编写自然地理学基础、水文学、地图学、地理信息系统和遥感等课程的教学材料。尽管ChatGPT无法制作地图或图表，但我们发现，在一两天内为学生制作1-1.5万字的高质量书面材料是有可能的。这种方法可能对开放式学习有很大的帮助，并且有可能影响目前的教科书出版模式。
当然，使用ChatGPT来编写课程材料也是有局限性的。我们曾在新兴经济体自然地理课程中尝试使用它，但效果大打折扣。由于该课程过于依赖研究论文，这导致在假论文之外，ChatGPT产生的主题内容本身也有不少错误。不过，即使在这种情况下，ChatGPT的回答也起到了提示思路的作用。ChatGPT中的错误信息也不是毫无价值，我们也曾在水文学课程中使用ChatGPT中的错误信息作为期中测试题的材料，学生们被要求找出段落中的错误。考试后与学生进行的非正式讨论表明，他们能够更深刻地理解这些问题。
05
结论
很明显，ChatGPT引用的参考文献是假的。虽然该文的研究材料集中在地理学方面，但假文献并不会仅仅局限于某个特定的学科主题，问题根源其实是人工智能算法。因此，研究结果具有广泛的适用性。
虚假参考文献的产生也不禁让人质疑ChatGPT回答内容本身的真实性。AI聊天机器人可能会不断完善优化，但最初的狂热喧哗应当转为更加谨慎理智的态度来管控AI聊天机器人技术在教学和研究中的应用。这项技术不太可能因为虚假文献问题而停滞不前，AI聊天机器人在未来教育中仍然值得期待。它依然可以作为一种有力工具，而前提是我们要有足够的专业知识储备从而能够研判、甄别有关信息。
文字 |
