文章主题：自然语言处理, 大语言模型, 信息动力学, 人工智能发展
导语
ChatGPT 的横空出世是一个大事件，可能引发一场新的科技革命浪潮，甚至被认为是人类语言出现以来最深刻的变革。为什么大模型如此备受关注甚至引发焦虑？我们该如何理解这场 AI 革命的深刻意义？人类历史上的农业、工业革命，是能量利用层面的革命，而人工智能则是信息层面的革命。信息动力学（information dynamics），即信息的传播和演化过程，是理解这一变革的关键视角。
本次圆桌活动，物理学家祁晓亮从信息动力学的角度分析，认为 AI 革命的标志是信息处理复杂度的临界点。同时我们邀请了来自物理学、范畴论、大模型、语言学、认知和脑科学等领域的学者以及来自业界的研究者进行跨学科交流和碰撞，期待能扩展科研思维，从不同视角共同探讨 AI 未来的发展。
内容简介
大语言模型的诞生被视为一个重要的事件，它可能会促进技术奇点的到来。那么，我们应该如何理解这个临界点的重要性呢？为什么这次的技术突破首先出现在语言模型领域？当前的大语言模型与人类智能之间存在着哪些本质上的差异？又或者是，人工智能的下一个突破口究竟会在哪里？为了回答这些问题，我们将从信息动力学的视角进行深入探讨。
这次分享将主要涵盖这三个部分：
1. 为什么说大语言模型的诞生是一个临界点（critical point）？这是一个怎样的临界点？
著名学者祁晓亮指出，临界点关键在于信息处理复杂度。”信息动力学”揭示了信息的传播与演变过程。从这个视角看，大语言模型的技术革新源于在输入信息、处理信息和输出信息这三个方面，都实现了与人类相媲美的复杂性。
2. 为什么是语言模型在复杂性上实现了突破？
在人类历史长河中，信息动力学的 two 要素——DNA 的遗传与变异，以及语言的传播与进化，共同塑造了我们的认知世界。其中，语言所达成的复杂性，代表了人类思维的最高境界。因此，对于人类而言，信息动力学便等同于语言动力学。鉴于语言在人类社会中的核心地位，它也相应地在人工智能领域占据了特殊的地位。
3. 今天的大语言模型和人类智能最本质的区别是什么？人工智能下一步的发展方向是什么？
在认知心理学领域，人类的思维过程可以分为两个主要系统：快速直觉判断系统（System 1）与慢速语言思考系统（System 2）。大语言模型的核心本质正是对System 1的模拟，它能够运用自然语言与人类展开互动，然而，其内部实际上并未运用语言进行真正意义上的思考。当前，我国人工智能研究领域的众多尝试都在致力于使语言模型具备类似于人类系统的2，即具有长期记忆能力并能够从经验中吸取教训的能力。
分享大纲
为什么说大语言模型的诞生是一个临界点？
什么是信息动力学
信息复杂度的三个方面
为什么是语言模型在复杂性上实现了突破？
从信息动力学视角看待语言
人工智能下一步的发展方向是什么？
什么是系统 1 和系统 2？
为大模型构建系统 2，是下一步的突破方向吗？
圆桌讨论问题
1. 大语言模型达到一个临界点，如何刻画这个临界点？
是信息复杂度的临界点？是实现自指，具备自我意识？和量子信息领域的纠错编码有关？
2. 人工智能下一步的发展方向是什么？
如何理解系统 1 和系统 2？为大模型构建系统 2，是下一步的突破方向吗？
3. 范畴论如何帮助改进大语言模型？
在我们的生活中，存在着各种各样的语言描述，从具体的物体到抽象的概念，它们都遵循着各自的规则和逻辑。而在数学领域，范畴论则是一种用于描述数学结构及其关系的理论。那么，这两者之间究竟存在着怎样的联系呢？是否有可能通过范畴论来更好地理解和改进我们的大语言模型呢？首先，我们需要明确的是，语言和数学虽然都属于形式系统的范畴，但它们所涉及的范围和层次却有所不同。语言主要关注的是日常交流和表达，而数学则是以严谨的逻辑为基础，研究数量、结构、变化和空间等概念的一门学科。在这个基础上，范畴论作为一种数学理论，其主要的研究对象就是数学结构本身以及它们之间的关系。那么，范畴论如何能够帮助我们理解和改进大语言模型呢？其实，这里的关键在于如何将范畴论与语言和机器学习相结合。通过对范畴论的理论研究和实践应用，我们可以发现，范畴论中的一些重要概念和思想，例如函数、极限、组合、积等，都可以为我们理解和生成语言提供有力的工具。同时，范畴论中的许多定理和方法，如卡塔兰猜想、罗素悖论等，也可以帮助我们优化大语言模型的训练过程，提高其性能和效果。综上所述，尽管语言和数学在本质上是不同的，但它们之间却存在着千丝万缕的联系。而范畴论作为一种数学理论，不仅可以帮助我们深入理解语言的本质和规律，还可以为我们改进大语言模型提供有力的支持。因此，进一步探索和发掘范畴论在语言学和机器学习领域的应用前景，无疑将对推动我国相关领域的发展具有重要意义。
讲者简介
祁晓亮，斯坦福大学物理系终身教授。2003 年本科毕业于清华大学基科班，2007 年博士毕业于清华大学高等研究中心。此后于斯坦福大学和加州大学圣塔芭芭拉分校从事博士后研究。2010 年加入斯坦福，2014 年获得 tenure。祈晓亮教授的早期研究方向为凝聚态理论，他是拓扑绝缘体理论和拓扑超导理论的开创者之一。近期集中关注量子信息、量子多体与量子引力之间的关系。曾获得包括物理学新视野奖和斯隆奖金在内的多项国际奖项。
个人主页：https://profiles.stanford.edu/xiaoliang-qi
圆桌嘉宾简介
尤亦庄，2013 年博士毕业于清华大学高等研究院，之后分别于美国加州大学圣塔芭芭拉分校和哈佛大学从事博士后研究。现为加州大学圣地亚哥分校助理教授，主要研究领域：量子多体物理，及其演生现象和临界现象。
个人主页：https://everettyou.github.io/
张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人、曾任腾讯研究院特聘顾问，复杂系统、人工智能的研究者与布道者。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。
个人主页：https://jake.swarma.org/
刘泉影，南方科技大学生物医学工程系助理教授，博士生导师，神经计算与控制实验室 PI。研究方向：机器学习算法、多模态神经信号处理、神经计算建模、医学人工智能等等。
个人主页：https://faculty.sustech.edu.cn/liuqy/
贾伊阳，日本成蹊大学助理教授。研究重点是计算复杂性，算法，以及范畴相关理论。
王庆法，1995-2001 清华本硕，统计力学方向，22 年从事数据领域工作，先后服务于 Schlumberger, IBM, Microsoft Bing, Amazon 供应链，现在负责联想供应链数字化转型，也在参与推动集团大模型战略。长期研究深度学习、神经网络、以及现在大模型的物理原理，分享在自己的公众号 ” 清熙 ” 上。
活动信息
时间：2023 年 6 月 3 日（周六） 上午 10:00-12:00
参与方式：
1、扫描预约
欢迎加入我们的学习小组！我们提供各种课程和学习资源，以满足您的学术需求。在这里，您可以与志同道合的学生一起探讨问题、分享经验和获取最新的行业动态。通过加入我们的学习小组，您将获得更多的学术支持，提高自己的学习能力，并拓展人际交往圈。立即点击以下链接，加入我们的学习小组，开启您的学术之旅！https://pattern.swarma.org/study_group_issue/480?from=wechat
扫码参与读书会，加入群聊获取本系列读书会的视频回放权限、资料权限，与社区的一线科研工作者和企业实践者沟通交流。
2、视频号预约
推荐文章
AI 何以涌现：复杂适应系统视角的 ChatGPT 和大语言模型
让 ChatGPT 拥有意识，冯 · 诺依曼会怎么做？——自指机器的奥秘
” 后 ChatGPT” 读书会启动
集智俱乐部的” 后 ChatGPT” 读书会由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起，旨在系统性地梳理 ChatGPT 技术，并发现其弱点与短板。同时，结合集智俱乐部常年来积累的各种人工智能技术讨论，展望后 GPT 时代的人工智能都有哪些可能性？读书会自 2023 年 3 月 3 日开始，每周五晚上举办，持续时间预计 6 周，欢迎对本话题感兴趣的朋友报名参加！
详情请见：
” 后 ChatGPT” 读书会启动：从通用人工智能到意识机器
集智俱乐部因果涌现社区
跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。同时，新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。
集智俱乐部特别组织「因果涌现」系列读书会，深入研读相关文献，激发科研灵感。目前已经进行了两季，聚集了 500+ 成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，并解锁对应录播权限。
读书会详情与报名方式请参考：
因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索
集智学园最新 AI 课程，
张江教授亲授：大数据驱动的人工智能
理解人类语言、创作艺术品、下围棋、蛋白质结构预测、新质子模型的发现、辅助数学定理证明，所有这些不同领域的难题都正在被新兴人工智能技术逐一攻破。人工智能， 特别是以大数据、机器学习、神经网络等技术为主体的智能技术，近年来获得了迅猛的发展，它正在与各个学科发生交叉、融合，逐渐演化为一种解决各种复杂系统问题的跨学科方论，成为支撑复杂系统分析与建模的重要新兴技术。
本课程面向具有一定理工科背景和编程技术基础的学生，全面介绍基于大数据技术驱动为主的人工智能技术的最新进展，包括但不限于：神经网络、深度学习、强化学习、因果推断、生成模型、语言模型、面向科学发现的 AI 等前沿领域。
https://campus.swarma.org/course/5084?from=wechat
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
