最近,尝试了一下ChatGPT搜寻相关文献的功能。总体来说,响应挺快,介绍相关领域的研究论文头头是道,给出的参考文献格式也挺规范,还能直接提供文章的doi,甚至网站链接。咋看起来挺靠谱,实际上是典型的造假大师。那么,ChatGPT给出的参考文献有多离谱?不能说十分符合,只能说是毫不相关,给出的参考文献甚至没有一篇是真实的。
下面演示一下
基于提示工程,先给ChatGPT一个训练,改善其响应质量。先告诉ChatGPT的身份,以及擅长的领域。Q1. You are an environmental researcher.Q2. You specialize in microbial electrochemistry, especially microbial fuel cells.
然后调研一下是否有碳化铁材料用于微生物燃料电池。Q3. Are there iron carbide materials used as microbial fuel cell anodes?给出的答案看起来挺靠谱。
进一步询问研究来源,以及提供更多类似的研究。
Q4. Can you give me the source of these studies?Q5. Is there more research?
然后用Web of Science搜索一下这些文章。
重点来了,搜索结果全军覆没,没有一篇文章能通过Web of Science搜索出来。
然后要求ChatGPT直接提供这些文章的网站,看看又有什么不同。
Q6. Can you give the websites of these papers directly?同样,全军覆没,这些文章全部不存在。
质疑其提供的文献真实性,ChatGPT给出了doi的链接。
Q7. None of the sites you gave can find these papers.3篇查无此链接。
2篇倒是能打开对应的文章网页,但是和想要找的文献只能说毫不相关。最后,骂它一下!好了,舒坦了。
Q8. You are a liar.总结
ChatGPT是一个造假大师,在本次演示中,提供的文献造假率达到了100%。因此,我们在依赖ChatGPT提供的信息时要谨慎,并一定要对响应进行全面核查。诚然,ChatGPT是一项颠覆性技术,将改变世界,使研究和其他工作更加自动化和高效。我们应该拥抱并利用这样的变革,但同时也要认识到其局限性。在编辑本文之际,收到了百度文心一言邀请通知。作为全村的希望,马上试用一下。 声明本文旨在分享相关科研动态,不做盈利使用,如有侵权,请联系后台小编删除。
欢迎投稿分享科研新进展、新观点(邮箱:songkdo@163.com)。END
点击关注,了解更多↓↓↓
▼ 精彩回顾 ▼1.张静/林璋教授ES&T | 可见光加速铬铁矿残渣中Cr(III)的释放和氧化:被忽视的Cr(VI)再生风险2.Cell子刊 | 以大数据方式驱动微生物产电机制的研究3. Making waves丨微生物-光催化剂杂化材料4. 最新进展 | 电活性生物膜中非产电菌的作用5. 2021年Environmental Science & Technology审稿人奖6. 二十大报告与生态环境相关内容7. 科研干货 | 从中英文混排括号的选择到如何规范的在中文中夹用英文8.Nature/Science等期刊密集发声:ChatGPT究竟是何方神圣?9. Bing+ChatGPT | New Bing新体验10. 普林斯顿大学任智勇ES&T | ChatGPT与环境研究(大受震撼,包含AI绘图等多个示例)点击在看,分享给小伙伴↓ ↓ ↓