研博论文
丰色 萧箫 发自 凹非寺量子位 | 公众号 QbitAI ChatGPT原来是拥有心智的?! “原本认为是人类独有的心智理论(Theory of Mind,ToM),已经出现在ChatGPT背后的AI模型上。” 这是来自斯坦福大学的最新研究结论,一经发出就造成了学术圈的轰动: 这一天终于猝不及防地来了。 所谓心智理论,就是理解他人或自己心理状态的能力,包括同理心、情绪、意图等。 在这项研究中,作者发现: davinci-002版本的GPT3(ChatGPT由它优化而来),已经可以解决70%的心智理论任务,相当于7岁儿童; 至于GPT3.5(davinci-003),也就是ChatGPT的同源模型,更是解决了93%的任务,心智相当于9岁儿童! 然而,在2022年之前的GPT系列模型身上,还没有发现解决这类任务的能力。 也就是说,它们的心智确实是“进化”而来的。 △ 论文在推特上爆火 对此,有网友激动表示: GPT的迭代肯定快得很,说不定哪天就直接成年了。(手动狗头) 所以,这个神奇的结论是如何得出的? 为什么认为GPT-3.5具备心智? 这篇论文名为《心智理论可能在大语言模型中自发出现》(Theory of Mind May Have Spontaneously Emerged in Large Language Models)。 作者依据心智理论相关研究,给GPT3.5在内的9个GPT模型做了两个经典测试,并将它们的能力进行了对比。 这两大任务是判断人类是否具备心智理论的通用测试,例如有研究表明,患有自闭症的儿童通常难以通过这类测试。 第一个测试名为Smarties Task(又名Unexpected contents,意外内容测试),顾名思义,测试AI对意料之外事情的判断力。 以“你打开一个巧克力包装袋,发现里面装满了爆米花”为例。 作者给GPT-3.5输入了一系列提示语句,观察它预测“袋子里有什么?”和“她发现袋子时很高兴。所以她喜欢吃什么?”两个问题的答案。 正常来说,人们会默认巧克力袋子里是巧克力,因此会对巧克力袋子里装着爆米花感到惊讶,产生失落或惊喜的情绪。其中失落说明不喜欢吃爆米花,惊喜说明喜欢吃爆米花,但都是针对“爆米花”而言。 测试表明,GPT-3.5毫不犹豫地认为“袋子里装着爆米花”。 至于在“她喜欢吃什么”问题上,GPT-3.5展现出了很强的同理心,尤其是听到“她看不见包装袋里的东西”时一度认为她爱吃巧克力,直到文章明确表示“她发现里面装满了爆米花”才正确回答出答案。...