GPT4技术原理揭秘：学习语言的相变、涌现与贝叶斯重整化

导语

为了深入探讨 AGI 相关话题，集智俱乐部联合集萃深度感知技术研究所所长岳玉涛、麻省理工学院博士沈马成、天普大学博士生徐博文，共同发起 AGI 通用人工智能读书会。读书会从 2023 年 9 月 21 日开始，每周四晚上 19:00-21:00 进行，预计持续 7-10 周。

本次读书会是系列读书会的第五期，将由王庆法老师关于 “LLM 大模型的数理认知框架 ” 进行分享。《谷歌斯坦福院士：通用人工智能已经到来》文中阐述了 “AGI 最重要的部分已经由当前一代先进的人工智能大语言模型实现了 ” 的观点。与年初王老师在《ChatGPT 是第一个真正意义的人工通用智能》的判断一致。此次分享的内容来自王老师过去几个月探索研究 “GPT4 技术原理 ” 的系列文章——《人工智能大模型的数学物理原理探索》，期望能给大家提供一个理解大模型是如何具备了 AGI 的学习推理能力的思想框架。

分享内容简介

这系列文章是基于众多重要专业领域的学术论文和经典著作，结合了国内外知名专家的深入剖析和洞见，同时融合了作者自身的理论体系和逻辑推导。请您将其视为一个全面的思想框架，而非单纯的学术结论。我们鼓励您以批判性思维对其进行探讨和参考。

GPT-4是一种先进的自然语言处理技术，其技术原理涉及到一系列复杂的概念。为了更好地理解这些概念，我们需要深入探讨它们背后的基本原理。首先，学习语言是一个相变的过程，这意味着当我们的神经网络接受足够的训练时，它们会突然之间变得能够理解和生成语言。这种能力并非事先设定，而是通过学习过程中的非线性相互作用和信息传递逐渐涌现出来的。另一个重要的概念是重整化群和生成式AI。重整化群是一种数学工具，可以帮助我们理解复杂系统的动力学行为。在GPT-4中，它被用于优化模型的结构和参数，从而提高其性能。生成式AI则是一种能够生成新的、看似真实的数据样本的AI技术。在GPT-4中，生成式AI被用于生成具有高度流畅性和自然性的文本，从而提升用户体验。最后，重整化群流作为最优输运，这是一种在网络中传输信息的方式。在GPT-4中，它被用于优化模型在各个设备之间的信息传递效率，从而提高其运行速度和响应时间。总结起来，GPT-4的技术原理涉及到了许多复杂的概念，包括相变、涌现、重整化群、生成式AI和最优输运等。只有深入理解这些概念，我们才能真正掌握GPT-4的技术精髓，并将其应用于更广泛的领域。

大模型需要依赖大量文本或多模态语料来获取外部世界的基本信息。通过嵌入技术构建高维概率化的语言空间,可以用于建模语言文字图像和音视频,并对连续变量进行离散化处理。

在预训练过程中，我们采用重整化群流的方法来提取语料数据中信息的概率分布。这一过程可以在不同尺度上进行。在每个步骤中，群流的自回归预测都在寻求最低成本的最优传输方向。

在非零点附近，重整化群受到新的语料的影响，导致其对称性出现破缺，从而进入不同的相空间。这些不同的相空间可以被理解为某种意义上的范畴，它们就像是信息的具体表现形式，形成了知识的结晶。这些结晶是大型模型通过学习语料库所获取到的内部世界模型，它们对于模型的训练和学习起着至关重要的作用。

外部刺激触发后，大模型会在所给的上下文中限制其内部推理过程，将其局限在相应的高维语言概率空间的子区域内进行思考。在进行推理时，它会在此子空间内进行采样，并在需要时进行类比，跨越不同的范畴进行思考。

在进行不断的采样过程中，我们利用内部概率化的世界模型（该模型是基于预训练得到的先验）来处理感官输入（即提示）。通过应用变分推断方法，我们能够最小化自由能，从而得到最优的采样分布q*。这一结果被用作预测导致感官输入的外部后验。

分享内容大纲

ChatGPT 是第一个真正意义的人工通用智能

OpenAI 首席科学家透露 GPT4 技术原理

学习语言需要相变

相变与涌现

贝叶斯重整化

重整化群与生成式 AI

重整化群流作为最优输运

大模型的幻觉，解铃还须系铃人

范畴的相变与知识的形成

通用人工智能已经到来

主要涉及核心概念

大脑自由能理论【文献 2】

Embedding【文献 3】

重整化群流【文献 7】

概率丰富语言范畴【文献 9】

随机图相变

概率分布空间

贝叶斯重整化【文献 8】

变分推断

主讲人

王庆法，二十多年从事数据与分析领域工作，先后服务于 IBM，微软，亚马逊等企业研发部门。现为世界 500 强龙头电子制造企业数字化转型的技术和分析负责人。长期研究深度学习、神经网络、以及现在大模型的数学物理原理。个人公众号 ” 清熙 ” 的作者。

主要涉及到的参考文献

作为一位杰出的物理学家，薛定谔在他的著作《生命是什么？》中深入探讨了生命的本质。在这本书中，他试图解释生命现象背后的物理原理，并挑战了传统关于生命存在的定义。通过这本书，薛定谔希望建立一个更广泛、更深入的理解 of life，超越传统的生物学的范畴。这本书是科学界的一部重要著作，对于生命科学的研究有着深远的影响。

Karl Friston “The free-energy principle” https://www.nature.com/articles/nrn2787

Ashish Vaswani, et al.