文章主题：
费斌杰 熵简科技CEO
作者 | 费斌杰 熵简科技CEO
自从去年12月ChatGPT问世以来，AI的发展正式进入快车道，整个行业开始“按日迭代”。从1957年以来，人类在经历了数轮AI浪潮后，这次通用人工智能（AGI）是真的要来了。
🌟🔥揭秘ChatGPT背后的科技魔术！🚀💡2月，我们的专业研究团队以独到视角，对ChatGPT的技术原理进行了深度解析，这一权威解读迅速引发了业内的热烈反响与专家们的深度赞赏。然而，随着探索的深入，一系列关键问题逐渐显现，让我们一起探秘这个技术巨头的秘密！🔍数据洪流中的智能算法：ChatGPT是如何通过海量信息构建其卓越语言生成能力的？我们揭示了背后的算法逻辑和数据处理策略。💡隐私保护与伦理挑战：面对AI普及带来的隐私泄露风险，ChatGPT如何平衡用户权益与技术创新？这是我们必须深入探讨的问题。🌐技术迭代与未来展望：随着ChatGPT的不断升级，我们将持续跟进，预测其可能带来的行业变革，并分享我们的见解。欲了解更多细节，敬请关注我们后续的专业分析文章。在这里，我们不仅提供尖端知识，还致力于为读者构建一个安全、透明的科技讨论环境。一起探索，共同成长！💪🌐
ChatGPT强大的一个重要原因是大语言模型的涌现能力（Emergent Abilities），那么涌现能力究竟为何产生呢？
GPT-5会有哪些意想不到的性能表现？
AGI会走向何方，对社会经济活动又会产生怎样的影响？
🌟💡深入解析！🔍在这篇全面剖析的文章里，我们针对核心议题展开深度探讨，每一步都严谨细致，带你领略详尽的分析之旅。📚摘要了我们的专业研究结晶，内容丰富，分4大章节等你探索：1️⃣ 首要问题剖析2️⃣ 数据驱动解析3️⃣ 实证案例展示4️⃣ 理论与实践交汇每个部分都是我们团队智慧的结晶，旨在提供最实用、最具洞见的解决方案。📚快来一探究竟，让知识照亮你的思考之路！🌐SEO优化，等你来发现！
大语言模型的本质：性能强大的无损压缩器
视觉信息是知识的富矿：从文本走向多模态
大数据时代的数据荒：运用合成数据破局
AGI对人类社会经济活动影响：展望与思考
🚀💡熵简科技🌟——投研数字化引领者🌟💻在信息海洋中，我们熵简科技，以专注与创新为舟，致力于帮助资管机构乘风破浪，驶向数字化的未来。我们的服务伙伴，包括但不限于证券界的巨头们：中金、中信、广发、建投等，以及华夏、嘉实、银华、博时等基金巨擘，共同见证并受益于这场科技革命的浪潮。作为创始人费斌杰，我站在技术变革的前沿，既是热情的探索者，也是冷静的观察者。每一份研究，都是团队智慧结晶，LLM技术的快速演进，就像一场永不停歇的知识竞赛，我们力求提供最新、最准确的视角，但请理解，任何分析都可能存在局限，期待您的宝贵意见。今天，让我们一起分享熵简科技在数字化转型中的深度洞察与前沿思考。无论你是行业专家还是好奇新手，我们都欢迎你的参与，共同探讨这项技术如何重塑我们的投研生态。🚀🌈#熵简科技 #数字化资管 #LLM研究更新
大语言模型的本质：性能强大的无损压缩器
在最近OpenAI的学术分享会中，Jack Rae提出了一个重要的论断： 大语言模型的本质，其实是一个性能强大的数据无损压缩器。
LLM = Compression
这个论断并不是很直观，但却揭开了“通用人工智能”非常重要的一角，值得高度重视。为了让大家理解这个观点，我们从“学习”这件事本身来探讨。
上个世纪以来，人类普遍认为“学习”是一种人类特有的才能，机器无法真正地掌握“学习能力”。随着深度神经网络技术的发展，人们通过构建“人工神经元”来模拟大脑中的“生物神经元”，从而使得机器开始具备一定的学习能力。
图：生物神经元（左）与人工神经元（右）对比
而现在，OpenAI得出了关于“学习”的最新结论： “学习”这件事本身，可以理解为对有效信息进行无损压缩的过程。
🌟为了深入探索这一观念，不妨设想一个思维挑战——构建一个专为中英互译量身定制的模型。想象一下，如何通过这样的工具，将语言的桥梁精准搭建？🚀
最简单粗暴的方式，就是列举出每个英文单词对应的中文，即rule-based mapping。假设我们枚举完了所有英文单词的中文对照表，写出了一本1000页的词典。
但通过这本词典，我们真的能够有效完成所有英译中的翻译任务吗？答案是否定的。因为基于规则的映射系统是非常脆弱的，只要在翻译过程中遇到一个之前没有遇到过的新单词，系统就崩溃了。
因此，这个模型的翻译性能是很弱的，可以理解为“该模型没有真正学会翻译”。
重点来了，现在请你把这本1000页的词典，“无损压缩”成一本200页的手册。字数减少了，但是信息量不能少，因此你不能简单地从1000页中抽取200页构成一本“小词典”，而需要通过对数据进行 高维编码 ，从而实现 无损压缩 。
经过压缩后的这本200页的手册中，不再是简单的单词映射，而是包含了主谓宾、定状补、虚拟语气、时态、单复数在内的英语语法。相比于一本“词典”来说，它更像是一本“教材”。
图：降低任务描述长度等价于增加对任务的理解
注意，在这个压缩的过程中，“学习”作为一种隐式的过程，起到了知识编码的作用。通过把一本1000页的词典压缩成一本200页的手册，模型“学会”了英语语法，掌握了英译中的知识。 通过这个例子，不难发现： 学习的本质，可以理解为对有效信息进行无损压缩的过程。压缩率越大，学习的效果就越好。
根据OpenAI的最新观点，基于GPT的大语言模型的是 性能卓越的数据压缩器 。 语言模型的本质，是不断预测下一个词的概率分布，从而完成生成式任务。
但是从“无损压缩”的角度来看，如果模型对下一个词的预测更加准确，就意味着其对知识的理解更深，从而获得对这个世界更高的分辨率。 随着模型规模的提升，基于信息熵计算出的压缩率也会逐渐提升，这就解释了为什么模型的性能会随着规模的增加而增加。
而提升模型的压缩率并不只有 “增加规模” 这一种方法，正如Jack Rae所言：Scaling is not all you need。 更好的算法架构、基于Plugin的工具集成、合成数据的运用 都能够有效提升模型的压缩率 ，从而实现模型性能的进一步提升。
图：提升模型压缩率的几种方法
视觉信息是知识的富矿：从文本走向多模态
既然大语言模型发展的目标，是不断提升对有效信息的压缩率。那么自然地，如何获取尽可能多的有效信息，就成为了一个重要命题。
人类是一种拥有语言能力的视觉动物，我们大脑皮层中约有三分之一的区域是用于视觉信息解析的。因此， 视觉信息是人类知识的富矿 。
图：大脑皮层中的视觉信号中枢
🌟认知日常，探索真理✨ – “日出东方，西方沉没”：无需繁复教材，生活即是最好的课堂。👀多数人，正是透过那每日的日出与西坠，直观地习得了这个基本天文现象。无需深究，这无言的教诲早已烙印在我们的心中，成为常识的一部分。🌍
推而广之， 视觉信息往往是人类知识的源头。由于人类具备语言和写作能力，人们会把通过视觉获取到的信息慢慢地转变为文本形态传播出来。
因此，如果把人类已获得的全部知识看作一座冰山，那么以“文本”为载体的数据只是冰山一角，而以“图像”、“视频”为载体的数据才是人类知识真正的富矿。这也是OpenAI的GPT-5会基于海量互联网视频进行学习的原因。
🌟探索未知，模型的力量🚀通过深度学习，天文观测视频中的潜在规律可能被模型悄然揭示，就像开普勒定律那样，虽无形却精准。带电粒子的运动轨迹则成为洛伦兹力数学语言的训练素材，每一道轨迹都蕴含着自然法则的密码。🔥若能驾驭海量的强子对撞机实验数据，模型或将揭示希格斯玻色子的秘密，解开物质”质量”之谜，这无疑是科学界翘首以盼的重大突破。🌍让我们期待这一科技探索之旅，为理解宇宙提供新的视角和可能。🏆
图：基本粒子模型与上帝粒子
大数据时代的数据荒：运用合成数据破局
虽然人类社会早已进入了大数据时代，全球经济活动产生了大量数据资产，但是LLM所需的训练集膨胀速度更快。 根据预测，到2026年文本数据将被训练完，图像数据将在2040年左右用完。
图：大语言模型对互联网存量数据消耗的预测
这对于“大力出奇迹”的大语言模型来说，并不是个好消息。如果训练集体量不够，模型便无法继续scaling up，从而不断提升性能天花板。
这个时候， “合成数据” 成为了重要的破局方法。顾名思义，“合成数据”（Synthetic Data）指的是通过算法生成的训练集，而非从现实世界中采集到的样本。
根据Gartner的预测，2026年模型训练数据中的50%将由合成数据构成；2030年合成数据的质量将全面超过人类标注的真实数据。
图：Gartner对合成数据发展的预测
OpenAI在GPT-4的技术文档中重点提到了合成数据的应用，可见OpenAI对该领域的重视。
图：GPT-4技术报告中对合成数据应用的探讨
更进一步来看，如果合成数据的质量能够全面超越人类标注的质量，那么未来AGI便可以 自我迭代 ，进化的速度会大幅提升。到这时，人类可能就成为AGI的启动脚本（Boot Loader）了。
这不禁让我联想到马斯克曾在2014年做出的预言。他认为从“物种进化的尺度”来看， 以人类为代表的“碳基生命”可能只是以“AI”为代表的“硅基生命”的启动脚本 。
这个预言令人毛骨悚然。放在14年那会儿，绝大部分人会认为这是危言耸听。但是当下我们再回头审视这个判断，不难发现这与“合成数据”的发展目标不谋而合。
合成数据领域的突破，可能成为AGI跨过奇点的重要里程碑 ，让我们拭目以待。
图：Musk在14年对AI发展的判断
AGI对人类社会经济活动影响：展望与思考
在刚结束的GTC大会上，NVIDIA的CEO黄仁勋将ChatGPT的诞生类比为移动互联网的iPhone时刻。但从人类科技发展史的尺度来看，我认为 ChatGPT的诞生更像是拉开了“第四次工业革命”的序幕，会带来社会生产力和生产关系的质变 。
虽然有点不恰当，但如果把人类看作一台“生物化学计算机”，我们不妨比较一下人类与AGI的效率异同：
首先，从 “通信效率” 的角度来看，人类之间的数据传输主要依靠交流，而交流的本质是以空气为媒介的机械波。与此相对，AGI之间的数据传输则主要通过GPU之间的NVLink，数据传输的带宽显著提升。
其次，从 “工作效率” 的角度来看，人类受限于生物体内复杂的免疫机制、神经元修复机制等原理，需要保持充足的睡眠，才可以换取白天良好的工作状态。但是AGI只需要有充足的能源供给，便可以做到7*24的高强度作业，工作效率显著提升。
再次，从 “协作效率” 的角度来看，由100个人组成的团队整体的工作效率往往会低于10人小组产出总量的10倍。随着组织人员规模的增加，人均产出不可避免的下降，需要通过“富有经验的管理艺术”才能激发团队协作的活力。相反，对于AGI来说，增加运算节点便可以扩大产能，并不会出现边际效用递减的管理与协作难题。
图：人工智能与人类智能的发展曲线
以上分析了相比于人类而言，AGI的生产力优势。但是人类在以下几个重点方面依然具备着不可替代的价值：
首先，虽然AGI在知识的广度上会远超人类，但是在具体领域的知识深度上，人类目前依然占据优势。
以金融投资为例，一位资深的投资经理可以根据不完整的市场信息做出模糊推断，从而获得超额收益；以科学研究为例，一位优秀的科学家可以从看似无关紧要的实验误差中推断出全新的理论体系。这些都是当前AGI难以企及的。
其次，社会经济活动的运转，高度依赖于人与人之间的“信任”，这种信任是AGI难以取代的。 比如当你去医院看病的时候，即使AGI能够根据你的症状描述做出相当准确的诊断，你依然大概率会拿着诊断结果去咨询边上的人类医生，寻求一个值得信任的诊疗建议。类似的“信任机制”构成了医疗、教育、金融等领域中经济活动的重要基石。
随着AGI的发展，许多经济活动的游戏规则会悄然发生改变，而这个规则改变的契机，则会以AGI在该领域超过人类中的最强者作为分界线，正如AlphaGo的诞生彻底改变了围棋界的规则一样。
结语
这是最好的时代，也是最坏的时代。悲观者可能永远正确，但确实毫无意义。
纵观历史，人类科技史的发展并不是连续的，而是跳跃的。 或许我们正在经历的正是一次人类科技水平的跳跃，无论如何，能够亲眼见证并参与其中，我们都是幸运的。
最后，分享一句我特别喜欢的话，这是OpenAI的CEO Sam Altman在30岁生日时给自己的人生建议：
The days are long but the decades are short.
参考文献
[1] Power, Alethea, et al. “Grokking: Generalization beyond overfitting on small algorithmic datasets.” arXiv preprint arXiv:2201.02177 (2022).
[2] Bubeck, Sébastien, et al. “Sparks of artificial general intelligence: Early experiments with gpt-4.” arXiv preprint arXiv:2303.12712 (2023).
[3] Eloundou, Tyna, et al. “Gpts are gpts: An early look at the labor market impact potential of large language models.” arXiv preprint arXiv:2303.10130 (2023).
[4] Wu, Shijie, et al. “BloombergGPT: A Large Language Model for Finance.” arXiv preprint arXiv:2303.17564 (2023).
[5] Liang, Percy, et al. “Holistic evaluation of language models.” arXiv preprint arXiv:2211.09110 (2022).
[6] Brown, Tom, et al. “Language models are few-shot learners.” Advances in neural information processing systems 33 (2020): 1877-1901.
[7] Kaplan, Jared, et al. “Scaling laws for neural language models.” arXiv preprint arXiv:2001.08361 (2020).
[8] Zhou, Yongchao, et al. “Large language models are human-level prompt engineers.” arXiv preprint arXiv:2211.01910 (2022).
[9] Wei, Jason, et al. “Emergent abilities of large language models.” arXiv preprint arXiv:2206.07682 (2022).
[10] Zellers, Rowan, et al. “HellaSwag: Can a machine really finish your sentence?.” arXiv preprint arXiv:1905.07830 (2019).
[11] Barocas, Solon, Moritz Hardt, and Arvind Narayanan. “Fairness in machine learning.” Nips tutorial 1 (2017): 2017.
[12] Ouyang, Long, et al. “Training language models to follow instructions with human feedback.” Advances in Neural Information Processing Systems 35 (2022): 27730-27744.
[13] Devlin, Jacob, et al. “Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805 (2018).
本文来自微信公众号“熵简科技Value Simplex”（ID:Shangjian-Tech），作者：熵简CEO|费斌杰，36氪经授权发布。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
