期刊论文
【导读】 ChatGPT作为学术辅助工具,靠谱吗?《职业地理学家(The Professional Geographer)》近期刊载了一份研究报告对此进行了回答。通过分析ChatGPT引用的参考文献,该文作者惊奇发现这些参考文献基本是由AI凭空捏造的,这似乎意味着人工智能辅助学术科研还只是空中楼阁,这也提示我们可以通过甄别学生作业中的参考文献来判断其是否使用了ChatGPT。当然,尽管ChatGPT尚不成熟,但该技术在不需要太多参考文献的入门课程的教材编写方面还是能够发挥一定作用的。在不远的将来,“如何研判ChatGPT的信息质量从而去芜存菁、为我所用”显得越来越重要,而这无疑有赖于人们扎实的专业知识。 更多内容,敬请阅读: Terence Day. (2023). A Preliminary Investigation of Fake Peer-Reviewed Citations and References Generated by ChatGPT. The Professional Geographer, DOI:10.1080/00330124.2023.2190373 01 引言 ChatGPT是一个使用自然语言来回答问题的人工智能聊天机器人,自2022年11月试运行以来,它对社会与学界造成的影响已经不可小觑,而围绕这项技术的担忧和质疑也随之出现。 2023年2月,我使用ChatGPT(https://chat.openai.com/)查询有关自然地理和地理教育方面的信息,一些搜索结果里出现了闻所未闻的参考文献。经检查发现,这些文献既没有出现在所列的来源刊物中,也没有存在于其他期刊。鉴于此,我们对ChatGPT所引用参考文献的真实性进行了更为系统的调查,虽然调查依然比较粗浅,但已经发现了不少问题。 02 研究设计 为了测试ChatGPT引用的参考文献的真实性,我们进行了一次系统性调查。受The Professional Geographer上最近发表的五篇论文的启发,我们向ChatGPT提出了一些问题,这些问题包括:妇女、少数民族和残疾人的地理基础教育参与(Solem 2023)、向美国西部移民的原因(Otterstrom and Shumway 2023)、中国的人口增长(Shi et al. 2023)、数字地图的应用(Bravo and Sluter 2023)等。选择这些问题其实并没有什么特定依据,它们只是地理学家所关注的一些有代表性的问题样本。我们对ChatGPT提供的参考文献进行了严格检查,核实期刊名称、卷号、期号以及页码中是否存在错误。 03 结果 很不幸,ChatGPT的回答竟然全军覆没,无一例外。具体情况请看下表。...