规模效应推动AI大模型跨越式发展：ChatGPT引领AI新一轮浪潮

本报记者 曲忠芳 李正豪 北京报道

自2022年11月以来，ChatGPT便成为我的日常必备工具。我对这款人工智能助手的关注点主要集中在它的逻辑推理能力上，而非仅仅在其积累的知识库中。在我看来，逻辑推理能力才是衡量一款模型是否能达到类似于人类的思维水平的更为关键的指标。近期，通用型对话机器人ChatGPT的热度持续升温，旷视科技研究院基础科研负责人张祥雨在接受《中国经营报》记者采访时表示。

张祥雨在深入体验和观察后发现，ChatGPT在语言逻辑推理领域，特别是多轮对话和高阶指代关系推理方面表现出了惊人的能力。然而，它在常识建模，特别是在数学逻辑方面显得不够强，对数字的敏感性（例如大小比较等）也相对较弱。总的来说，ChatGPT的表现远超预期。

当前， ChatGPT 的火爆现象引发了业内对 AI（人工智能）新一轮发展的广泛关注。然而，在张祥雨看来，推动 AI 发展的并非仅限于 ChatGPT —— 它仅仅是大模型技术的一个应用案例。近年来，自然语言大模型领域取得了突破性的进展，其核心逻辑在于规模化效应。换言之，通过不断增加数据和扩大模型规模，AI 模型能够实现性能的持续提高。

仅在两天前，即2月24日，我国科技部高新技术司司长陈家昌在“深入实施创新驱动发展战略加快建设科技强国”的发布会上明确表示，我国将人工智能视为战略性新兴产业，并将其视为推动科技创新的新引擎，未来将继续为其提供强有力的支持。当被问及ChatGPT的现象级应用时，陈家昌强调，这一现象揭示了自然语言模型已经具备了一些通用人工智能的特质，因此在各个行业领域都具有广泛的应用前景。

“ChatGPT科研价值更大”

自深度学习（Deep Learning）问世以来，十多年的时间中，许多人认为规模化效应已经到达了顶峰。他们认为，随着模型的不断增大和数据量的积累，模型的收益逐渐减少，也就是我们常说的“边际效应递减”。也就是说，随着数据的增多，模型的提升并不显著，性价比也在逐渐降低。然而，张祥雨在近几年中发现了一个不同寻常的现象。他在自然语言处理的大模型上观察到，当模型的参数量和训练数据量达到千亿级别时，模型的高级思维能力突然取得了突破性的增长，这是以前从未见过的。现在，大约在千亿级别的参数“关键点”上，即使只是稍微增加一些数据和模型量，模型也会突然展现出以前未曾拥有的推理能力，甚至还能激发一些曾被认为只有人类才能具备的能力，比如思维链能力。当然，这些成果的背后，离不开诸如代码预训练等许多技术的推动，共同引领了人工智能的跨越式发展。

ChatGPT 的出现预示着未来人工智能技术将在众多行业中发挥重要作用。据张祥雨所述，当前 ChatGPT 所体现的大模型发展水平，最有可能首先在智能搜索引擎领域得到应用，同时诸如文字编辑、各类垂直领域也具有巨大的开发潜力。然而，在实际应用过程中，仍需解决一系列问题，如如何确保答案精确度、如何输出正确的内容，以及如何在部署推理时充分利用该大模型，从而实现高效且降低运行成本等。这些问题的解决将直接影响到 ChatGPT 在各行业的实际应用效果。

我认为，ChatGPT等AIGC（利用人工智能技术生成内容）的代表性人物，以及它们背后的大模型，其科研价值实际上远超人们的想象。张祥雨指出，这种科研价值主要在于探究人类智能的本质。从技术角度看，AI大模型的设计过程并未针对智能进行特殊处理。它们的逻辑推理、思维链和reasoning能力，并非来自特定设计的智能，而是研究人员在大量增加参数量和训练数据量的情况下，意外地激发了这些能力。这种现象与生物进化，包括人类的进化历程十分相似。换言之，这种突然产生的智能并非源于有意识的专门设计，而是模型自身自然演变的结果。那么，究竟应该如何理解这一现象呢？当前，“有智能”的大模型与过去“无智能”的模型相比，产生了哪些实质性的改变？这些问题都是探索AIGC领域的前沿课题，具有极高的研究价值。

张祥雨同时提出，要探讨规模化效应这一途径是否具有可持续性，这还需全行业共同努力。在他看来，一旦逻辑推理能力的初阶阶段被突破，我们可能会迅速遇到规模化效应如何维持的问题。在这种情况下，通过增加数据量所获得的收益可能会再度减少。另外，还需要关注算力的限制。当前，大模型已经触及到算力的极限，如果硬件或系统架构没有发生显著改变，那么模型在进一步扩大规模时将会面临巨大挑战。

国产AI企业如何做？

记者注意到，ChatGPT的成本投入引发了业内的关注与讨论。国盛证券研报的测算，ChatGPT仅访问算力和前期训练两项费用初始投入就近10亿美元，单日电费达数万美元，在公有云下，单次训练约为百万至千万美元。因此，如何降低大模型的训练成本，成为摆在AI技术公司面前的一道难题。

张祥雨称，在过去一年里，其团队针对视觉模型的规模化做了许多努力和尝试，在提升视觉感受、不增加显存消耗方面取得了一些成效。同时也面临许多挑战，尤其是来自视觉和自然语言的差异成为最大的挑战。他认为，如何把视觉模型，尤其是视频这种具有时序性的、信息密度很低但是信息总量很高的数据有效利用起来，然后再设计相关的无监督、自监督的方法，让模型能够从中学到信息，这点非常关键。

需要指出的是，旷视科技在2022年时就提出的“大”和“统一”是当下视觉AI系统研究的新趋势。张祥雨表示，旷视科技团队在2022年底通过一系列实验和验证，发现视觉模型“统一”的落脚点在于识别类问题和生成类问题的统一。具体来说，生成类的问题比如AIGC是通过生成式的模型产生的；而识别式问题比如传统的分类、检测、分割等，其实从原理上来说既可以用生成类模型来实现，也可以通过判别类模型实现。而为了简单，我们在视觉落地的时候一直用的都是判别式模型。但判别式模型有一个非常大的缺点，当模型很小的时候很好用，一旦需要规模化到很大的量级的时候，会发现它对数据尤其是人工标注的数据要求非常高。此外，它的规模化效应目前已经遇到了上限。这说明生成式模型能更好地利用数据本身的特点，尤其是可以更好地利用无标签标注的数据。

据张祥雨透露，今年的核心工作重点是要用生成式的模型来实现整个视觉大模型的统一。旷视科技的布局思路是扎根具体的公司主营业务，包括智慧城市、AIoT（物联网）、智慧物流等几大主要场景，从每一个场景出发，先把“从物理世界中来，再到物理世界中去”的这条闭环跑通。只有形成了数据闭环、反馈闭环，模型得到的监督信号才会越来越多，才有条件把这个模型越做越大。所以，“大”和“统一”的趋势是不可阻挡的，是现在解决AI 赋能的主要思路，但要形成更大的规模化就必须要打通全链路，这无论是在商业布局还是在科研方面都必须要坚持的一点，就是要创造条件，想办法为模型做大提供契机。