文章主题：关键词：郭全中，张金熠，中国传媒科技，ChatGPT，技术特征，应用前景
原创 郭全中 张金熠 中国传媒科技
郭全中先生（1976年出生于安徽临泉）是一位才华横溢的学者，现任中央民族大学新闻与传播学院教授以及江苏紫金传媒智库的高级研究员。他的研究领域主要集中在传媒经济和传媒管理两个领域，凭借丰富的知识和深厚的理论功底，为我国传媒行业的发展提供了有力的支持。同时，他还积极参与各类学术活动，与业界保持着紧密的联系，不断推动传媒领域的创新与进步。张金熠女士是中央民族大学新闻与传播学院的硕士研究生，她拥有出色的学术表现和扎实的专业素养。通过对传媒经济和管理的研究，她为我国传媒产业的繁荣做出了贡献。作为一位充满活力的研究生，张金熠女士始终关注着传媒行业的最新动态，并积极运用所学知识为传媒事业的发展献计献策。
ChatGPT 的技术特征与应用前景
在2022年的11月30日，人工智能研究实验室OpenAI推出了一款全新的对话式自然语言处理（NLP）模型——ChatGPT。这款模型的出现立即引起了科技界的广泛关注，并在短短的5天内迅速在社会上引发了热烈的讨论，甚至吸引了超过百万的用户。ChatGPT的出现无疑展示了对话生成式NLP模型在多种场景、多个行业和领域中的巨大应用潜力和前景。然而，随着人工智能技术的广泛应用，我们也必须看到其背后所隐藏的经济、文化和社会风险。因此，我们有必要对ChatGPT的技术特性以及其背后的GPT（Generative Pre-Training）发展历程进行深入的整理，既要对未来应用前景保持乐观，也要密切关注存在的风险，并积极寻求有效的治理策略。
郭全中 张金熠
01
ChatGPT技术特征及GPT发展历程
ChatGPT是一种由人工智能驱动的聊天机器人,虽然它在专业知识和对基础知识的理解方面有时会出现错误,但在与人类交流的过程中,它所展现出来的连贯性和逻辑水平却非常出色,其快速响应能力也让人印象深刻。这些优秀的表现都离不开ChatGPT背后强大的技术支持,即GPT-3.5和整个GPT系列。
1.1
技术特征
ChatGPT 是 OpenAI 公司推出的一款具有革命性的自然语言处理技术,它代表了 OpenAI 技术路线的一个方向性转变。ChatGPT 不仅继承了前几代 GPT 的技术优势,还具有独特的特点。这些特点包括:
GPT系列一直以语言模型为核心任务,而其单一的模态类型则是仅限于文字语言,没有涉及到视觉、听觉等多模态类型,这与OpenAI的另一项知名多模态研究领域人工智能图像生成器DALL-E2有所不同。在GPT-2时期,任务适用范围逐渐狭窄,开始专注于语言模型的应用。因此,ChatGPT所采用的模态类型也仅仅是文字语言,没有涉及到其他模态类型。
其次，海量数据对于AI模型的构建至关重要。其逻辑推理和结果输出的能力均基于此基础。以GPT系列为例，其模型训练的规模大小也可见一斑，从GPT-1的1.17亿到GPT-2的15亿，再到GPT-3的1750亿，参数量从亿级别提升至千亿级别。至于以GPT-3.5为基础模型微调生成的ChatGPT，其当前的训练参数尚未公开。然而，我们可以预见，一直秉持“指数力量”的OpenAI，在即将推出的GPT-4上，甚至在GPT-3.5及未来GPT-4上，都可能达到千亿级别的训练参数量。虽然ChatGPT的训练策略与GPT系列所采用的半监督学习或无监督学习有所不同，它更注重参数的标注和强化学习，但在零样本学习（Zero-Shot Learning，ZSL）技术成熟之前，人工智能依然依赖于海量数据来推动模型训练和迭代的进步。
第三，我们需要关注的是人工标注的过程。GPT的全称是Generative Pre-trained Transformer，也就是我们常说的生成型预训练变换模型。这种模型的主要特点在于，它首先会利用大量的语料库来训练语言模型，并将训练的结果保存在参数中，作为后续模型初始化的依据。这样一来，新模型就能在较小的规模下进行训练，并在短时间内获得较好的效果。OpenAI的GPT系列产品就是采用了Transformer的预训练模式，以此来避免NLP模型在训练过程中需要大量的高质量标注数据，同时提高其泛化能力。然而，ChatGPT在GPT系列的技术路线上进行了颠覆性的迭代。它在GPT-3.5大规模语言模型的基础上，开始依赖大量的人工标注数据。这些数据由OpenAI claims的40位专业博士提供，他们为ChatGPT提供了高质量的人类指令答案，从而解决了GPT-3.5在理解和判断输入信息上的问题。
在理解人类指令的优化上，ChatGPT利用了来自人类的反馈强化学习（RLHF）进行训练。这种强化学习方法，是通过设定明确的奖惩机制，对模型的参数进行调整，从而生成更优质回答的过程。根据OpenAI官方网站上的博客介绍，他们构建了一种奖励模型，该模型由人工智能导师对两个或多个模型在处理同一问题时的对话响应进行排序。借助这些奖励模型，OpenAI能够对ChatGPT进行微调，并通过多次迭代不断优化这个过程。因此，在与ChatGPT的交互中，人们注意到它会主动纠正错误，修正答案，这得益于它在RLHF训练中所获得的强化学习能力，使其能够重新审视问题并进行深入思考。
1.2
GPT系列发展历程
ChatGPT不是凭空出现的，而是建立在OpenAI对于语言模型，尤其NLP模型领域的持续研究与创造性探索。ChatGPT已经再次引爆社会对人工智能的多方讨论，但对于生成式AI而言，ChatGPT不是开始，也不会成为终点。生成式AI的应用将如何展开，会带来怎样的影响，可以从GPT系列发展历程中窥得些许启示。
第一，GPT-1：选择半监督学习模式。2018年，OpenAI推出了第一代生成式预训练模型GPT-1，该模型采取的是生成式预训练Transformer模型，这是由谷歌公司在2017年提出的一种采用自注意力机制的深度学习模型。目前发布的整个GPT系列（包括GPT-1、GPT-2、GPT-3、GPT-3.5）都贯彻了这一预训练模式。在GPT-1之前，NLP任务需要通过大规模、高质量标注数据集来进行有监督的学习。而GPT-1采取了一种截然不同的深度学习模式，即半监督学习。半监督学习是先通过无监督学习的预训练，运用大量未标注数据增强模型的语言能力，再进行有监督的微调，与大规模数据集集成以提高模型在NLP任务中的表现。这种方式减少了模型训练对数据标注工作的依赖，使GPT-1仅需要极少微调，就能够强化其NLP任务能力，但也存在明显的数据局限与泛化能力不足。
第二，GPT-2：验证无监督学习模式的力量。相信数据力量的OpenAI在2019年推出的GPT-2中，并没有转变技术策略，而是重点关注上一代出现的泛化能力不足问题，在训练数据与参数量上进行调整，使用了更大的数据集WebText（取自Reddit上高赞的文章，约40GB文本数据、800万个文档），为模型添加了更多参数（达到15亿个，是GPT-1的近13倍），提升了数据质量与数据规模，从而使得GPT-2在任务迁移方面展现出更优性能以及更惊人的生成能力。GPT-2的出现与性能提升，进一步验证了无监督学习的力量，即通过海量数据与大规模参数训练而成的NLP模型能够无需额外训练具备迁移到其它类别任务的能力。
第三，GPT-3与GPT-3.5：在海量训练参数基础上加入人工标注与强化学习。2020年发布的GPT-3被认为是目前最强大的语言模型，能够撰写人类难以判别的文章，甚至编写SQL查询语句。而其强大性能依赖于海量训练参数的喂养。相比于GPT-2，GPT-3则是将大规模数据的力量发挥到极致，OpenAI为其提供了1750亿的参数量，是GPT-2的10倍、GPT-1的100倍以上，45 TB的训练数据以及1200万美元的训练费用更是不在话下。在技术路线上，GPT-3删去微调步骤，直接输入自然文本作为指令，提升了GPT在阅读文本后可接续问题的能力以及任务主题的广泛性。GPT-3.5的主要杰作就是近期大火的ChatGPT。ChatGPT使用了微软Azure AI超级计算基础设施上的文本和代码数据进行训练，在训练参数上增加到GPT-3的10倍以上，延续了OpenAI对大规模数据的追求。此外，颠覆性地使用大量人工标注数据与有人类反馈的强化学习，使得ChatGPT表现出出色的上下文对话能力甚至编程能力。
纵观GPT系列的发展，OpenAI始终贯彻了大规模数据与生成式预训练Transformer模型的技术路线，并通过不断微调进行模型迭代优化，创造了ChatGPT的一鸣惊人。正如前文所说，ChatGPT不会是终点，OpenAI即将发布的GPT-4会将生成式AI带向何方，还需拭目以待。
02
ChatGPT的应用前景
ChatGPT尽管在自然语言文本的处理上仍有不足，会写出看似合理但不正确且荒谬的答案，例如将刘强东写作阿里巴巴集团的联合创始人，但其所表现出的强大基础模型能力，能够通过针对特定专业或行业进行微调，以提供优质的专业性服务。因此，ChatGPT的应用前景包括但不限于智能机器人、行业智能助手、舆情分析等领域。
2.1
智能机器人
在2C场景中，智能机器人基于NLP的人机交互能力是产品发展的刚需。其中人形机器人在现实场景中与人对话，对流畅的语言交互能力更加依赖。只有机器人能够理解人类指令并做出准确合理的需求响应，才能推动人形机器人完成后续的各项任务，因此NLP技术水平直接影响着人形机器人的技术发展与产品落地。
然而NLP模型的构建与训练需要花费大量时间、精力以及算力，持续优化NLP模式所需的算法、算力、算据都较为庞大，对于专注于实体机器人领域的技术来说，在保证人形机器人的各项软硬件技术发展前提下投入大量成本进行NLP模型的迭代并不现实。而ChatGPT的出现，进一步提升了NLP技术前沿，若接入人形机器人应用后，有望为人形机器人的2C场景提供更加仿真的人机互动，加速人形机器人的产品落地。
此外，虚拟空间中的智能机器人也能够依靠更为前沿的NLP技术增进其与用户的聊天体验，如游戏NPC、虚拟智能主播等，从而以此为基点探索新的用户交互服务。
2.2
行业智能助手
从GPT-3两年的商业化尝试可以看出，GPT系列并不能彻底取代某些职业，而更适合作为辅助生产力工具展开商业化实践。在人工智能助手领域，智能客服、语音工作助手、智能翻译等产业正在不断成熟，但当前的人工智能助手面临着逻辑性不强、响应不准确等问题。这正是NLP技术能够补足的行业短板。
在实践过程中，大量用户表示ChatGPT的对话体验要明显优于QQ小冰、Siri等智能助手的交互体验，尽管在生活常识性问题的准确性上远不及后者，ChatGPT能够通过强化学习的方式进行自我纠错，在后续对话中纠正之前的错误。此外，作为前沿NLP技术的模型代表，ChatGPT在代码纠错、文学创作等方面表现出的生成性能与需求响应能力，体现出其发展为行业智能助手的潜力。各行各业能够通过对ChatGPT的微调实现特定行业的专业化迭代，从而基于NLP能力提供更准确的助手服务。
2.3
舆情分析
ChatGPT的最大优势在于全球领先的NLP处理能力。出色的上下文对话能力背后的词向量模型性能能够适应NPL任务，这也就意味着ChatGPT在最基础的文本分类、词性判断、命名实体识别等NLP任务上表现不俗。对于舆情分析而言，由于中文文本语义多元、语法特殊、寓意隐晦等特点，准确判断文本色彩是舆情分析的重要难点。
利用强化学习模型，ChatGPT基于用户互动与反馈能够对文本属性进行更新，优化其内容理解与生成能力。这不仅为智能舆情分析提供了更为前沿的NLP技术，也为智能舆情分析模型的搭建提供参考思路。
参考文献
[1] Romera-Paredes B，Torr P H S. An Embarrassingly SimpleApproach to Zero-Shot Learning [M].Visual Attributes.Cham:Springer International Publishing，2017：11-30.
著录格式
郭全中，张金熠.ChatGPT 的技术特征与应用前景[J].中国传媒科技，2023（01）：159-160.
基金项目
本文为北京市社会科学基金规划重点项目“首都互联网平台企业社会责任与协同治理体系研究”的阶段性成果，批准号（项目编号：22XCA002）。
《传媒瞭望|郭全中：ChatGPT的爆火，来看看和您的行业有什么关系？》
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
