大语言模型的诞生：临界点与未来发展

导语

ChatGPT 的横空出世是一个大事件，可能引发一场新的科技革命浪潮，甚至被认为是人类语言出现以来最深刻的变革。为什么大模型如此备受关注甚至引发焦虑？我们该如何理解这场 AI 革命的深刻意义？人类历史上的农业、工业革命，是能量利用层面的革命，而人工智能则是信息层面的革命。信息动力学（information dynamics），即信息的传播和演化过程，是理解这一变革的关键视角。

本次圆桌活动，物理学家祁晓亮从信息动力学的角度分析，认为 AI 革命的标志是信息处理复杂度的临界点。同时我们邀请了来自物理学、范畴论、大模型、语言学、认知和脑科学等领域的学者以及来自业界的研究者进行跨学科交流和碰撞，期待能扩展科研思维，从不同视角共同探讨 AI 未来的发展。

内容简介

大语言模型的诞生被视为一个重要的事件，它可能会推动技术奇点的到来。那么，我们应该如何理解这个临界点的重要性呢？为什么这次的技术突破首先出现在语言模型领域？当前的大语言模型与人类智能之间存在着哪些本质上的差异？又或者是，人工智能的下一个突破口究竟会在哪里？为了回答这些问题，我们将从信息动力学的角度进行深入探讨。

这次分享将主要涵盖这三个部分：

1. 为什么说大语言模型的诞生是一个临界点（critical point）？这是一个怎样的临界点？

祁晓亮教授指出，临界点在于信息处理复杂度。他解释道，”信息动力学”揭示了信息的传播与演变过程。从这个视角看，大语言模型的技术革新源于在输入信息、处理信息和输出信息这三个关键环节都实现了与人类相媲美的复杂性。

2. 为什么是语言模型在复杂性上实现了突破？

在人类历史长河中，信息动力学的 two 要素——DNA 的遗传与变异，以及语言的传播与进化，共同塑造了我们的认知世界。其中，语言所达成的复杂性，代表了人类思维的最高境界。因此，对于人类而言，信息动力学便等同于语言动力学。鉴于语言在人类社会中的核心地位，它也相应地在人工智能领域占据了特殊的地位。

3. 今天的大语言模型和人类智能最本质的区别是什么？人工智能下一步的发展方向是什么？

在认知心理学领域，人类的思维过程可以分为两个主要系统：快速直觉判断系统（System 1）与慢速语言思考系统（System 2）。大语言模型的核心本质正是对System 1的模拟，它能够运用自然语言与人类展开互动，然而，其内部实际上并未运用语言进行真正意义上的思考。当前，人工智能研究领域的众多尝试都是致力于使语言模型具备类似于人类的System 2能力，即具有长期记忆并能够从经验中吸取教训。

分享大纲

为什么说大语言模型的诞生是一个临界点？

什么是信息动力学

信息复杂度的三个方面

为什么是语言模型在复杂性上实现了突破？

从信息动力学视角看待语言

人工智能下一步的发展方向是什么？

什么是系统 1 和系统 2？

为大模型构建系统 2，是下一步的突破方向吗？

圆桌讨论问题

1. 大语言模型达到一个临界点，如何刻画这个临界点？

是信息复杂度的临界点？是实现自指，具备自我意识？和量子信息领域的纠错编码有关？

2. 人工智能下一步的发展方向是什么？

如何理解系统 1 和系统 2？为大模型构建系统 2，是下一步的突破方向吗？

3. 范畴论如何帮助改进大语言模型？

在我们的生活中，存在着各种各样的语言描述，从具体的物体到抽象的概念，它们都遵循着各自的规则和逻辑。而在数学领域，范畴论则是一种用于描述数学结构及其关系的理论。那么，这两者之间究竟存在着怎样的联系呢？是否有可能通过范畴论来更好地理解和改进我们的大语言模型呢？首先，我们需要明确的是，语言和数学虽然都属于形式系统的范畴，但它们所涉及的范围和层次却有所不同。语言主要关注的是日常交流和表达，而数学则是以严谨的逻辑为基础，研究数量、结构、变化和空间等概念的一门学科。在这个基础上，范畴论作为一种数学理论，其主要的研究对象就是数学结构本身以及它们之间的关系。那么，范畴论如何能够帮助我们理解和改进大语言模型呢？这里，我们可以从两个方面来考虑。首先，范畴论可以提供一种全新的视角来看待语言和数学的关系。传统的观点往往将语言和数学看作是两个独立的领域，然而范畴论却提供了一种可能性，即通过数学的方法，可以将语言中的概念和结构进行数学化处理，从而更好地理解和描述它们。其次，范畴论可以为改进大语言模型提供理论支持。大语言模型在进行自然语言生成时，往往面临着模型的复杂性和计算成本之间的平衡问题。而范畴论则可以通过引入一些新的数学工具和方法，使得模型的构建和优化变得更加高效和有效。例如，范畴论中的同调论和类型论等理论，就可以为模型的训练和优化提供有力的理论支撑。综上所述，尽管语言和数学在表面上看似乎毫无关联，但实际上它们却有着深刻的联系。而范畴论作为一种数学理论，不仅可以帮助我们更好地理解这种联系，同时也为改进大语言模型提供了重要的理论支持。因此，深入研究和探索范畴论的应用，无疑将对语言和数学的发展产生深远的影响。

讲者简介

祁晓亮，斯坦福大学物理系终身教授。2003 年本科毕业于清华大学基科班，2007 年博士毕业于清华大学高等研究中心。此后于斯坦福大学和加州大学圣塔芭芭拉分校从事博士后研究。2010 年加入斯坦福，2014 年获得 tenure。祈晓亮教授的早期研究方向为凝聚态理论，他是拓扑绝缘体理论和拓扑超导理论的开创者之一。近期集中关注量子信息、量子多体与量子引力之间的关系。曾获得包括物理学新视野奖和斯隆奖金在内的多项国际奖项。

个人主页：https://profiles.stanford.edu/xiaoliang-qi

圆桌嘉宾简介

尤亦庄，2013 年博士毕业于清华大学高等研究院，之后分别于美国加州大学圣塔芭芭拉分校和哈佛大学从事博士后研究。现为加州大学圣地亚哥分校助理教授，主要研究领域：量子多体物理，及其演生现象和临界现象。

个人主页：https://everettyou.github.io/

张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人、曾任腾讯研究院特聘顾问，复杂系统、人工智能的研究者与布道者。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。

个人主页：https://jake.swarma.org/

刘泉影，南方科技大学生物医学工程系助理教授，博士生导师，神经计算与控制实验室 PI。研究方向：机器学习算法、多模态神经信号处理、神经计算建模、医学人工智能等等。

个人主页：https://faculty.sustech.edu.cn/liuqy/

贾伊阳，日本成蹊大学助理教授。研究重点是计算复杂性，算法，以及范畴相关理论。

王庆法，1995-2001 清华本硕，统计力学方向，22 年从事数据领域工作，先后服务于 Schlumberger, IBM, Microsoft Bing, Amazon 供应链，现在负责联想供应链数字化转型，也在参与推动集团大模型战略。长期研究深度学习、神经网络、以及现在大模型的物理原理，分享在自己的公众号 ” 清熙 ” 上。

活动信息

时间：2023 年 6 月 3 日（周六）