文章主题：ChatGPT, 知识生产, 人工智能, 深度学习
刊载信息
王仕勇和张成琳在《教育传媒研究》2023年第3期的论文中，探讨了ChatGPT在知识生产中的技术路径、应用及所面临的挑战。
内容摘要
ChatGPT 技术的崛起引发了知识生产领域的革命性变化。借助卓越的自然语言处理技术和算法，知识生产正在迈向智能化、自主化、高质量、仿真化和个性化。在未来，ChatGPT 有可能在教育培训、新闻媒体和学术研究等与知识生产紧密相关的领域发挥关键作用。然而，在参与知识生产的过程中，ChatGPT 也面临着一些挑战，例如真实性、可靠性的评估问题，学术伦理和知识产权的冲击，以及人类知识生产潜力和自主性的威胁。因此，本文认为，在强人工智能时代，我们应该把握以人为本的知识生产原则，重新审视人机协作和融合的方式。
关键词
ChatGPT；知识生产；人工智能；深度学习；学术伦理；知识产权
在近年来的知识生产领域中，人工智能（AI）的应用形式多样，覆盖了诸如自然语言处理、计算机视觉、机器学习等多个领域。然而，这些应用的总体智能水平相对较低，自主性也较为有限，因此仍难以摆脱弱人工智能的定位。2022年11月30日，美国OpenAI公司发布了一款名为ChatGPT的聊天机器人，这款产品在短时间内引发了全球范围内的广泛关注，仅一周时间，其用户数量便突破了百万大关。作为一款基于深度学习技术的自然语言处理工具，ChatGPT具备自动生成、摘要和翻译等多重功能，已在文本自动生成、自然语言处理以及知识管理等领域得到广泛应用。ChatGPT的快速发展被誉为“AI时代的二次复兴”，它标志着人类正式告别弱人工智能时代。
一、ChatGPT 参与知识生产的技术路径
在人类知识的发展历程中，我们可以观察到一个由经验导向到原理驱动，再到以信息技术平台为基础的多样化知识形态的演变过程。这一过程中，计算机技术的普及和发展，不仅实现了知识的规模整合，也催生了不同知识领域间的交流与合作，从而改变了传统的知识生产模式。其中，语言作为知识的主要载体，随着计算机科技的不断进步，逐渐呈现出类似于人类的自然语言处理能力。自然语言处理（NLP）作为一种机器学习技术，专注于探讨计算机如何理解和生成自然语言。在众多自然语言处理模型中，ChatGPT（Generative Pre-trained Transformer）是一个典型的代表。这种模型依托于大型语言模型（LLM），通过创新性地运用transformer模型和自注意力机制等技術，结合人类反馈强化学习（RLHF），实现了更为自然的人机对话交互。这使得知识生产更具智能化、自主化、高质量、仿真化和个性化特点，从而推动了知识形态的发展。
（一）依托大型语言模型（LLM）的智能化生成和自主化学习
ChatGPT采用了预训练和微调两个阶段的训练方法来构建其语言模型。其中，预训练的基础是大规模预训练的深度学习语言模型LLM，它通常由数十亿甚至数百亿的参数构成，因此需要在大量的数据集上进行预训练。ChatGPT的模型参数高达1750亿，涵盖了多种类型的数据，包括从公开语料库中获取的以及OpenAI自行爬取的大量人类语言数据。在这个庞大的数据基础上，ChatGPT通过Masked Language Model（MLM）和Next Sentence Prediction（NSP）技术实现了高效的预训练。MLM技术能够在输入的文本中随机遮盖部分单词，并通过模型预测这些被遮盖的单词，从而达到训练模型的目的。而NSP技术则让模型预测相邻句子之间的逻辑关系，进一步帮助模型理解和建模语言的结构和语义，从而更好地模仿和生成各种类型的语言表达，如对话、文章、摘要以及翻译等。
通过利用LLM和ChatGPT，我们可以实现一种高效的自主化学习方式。在预训练阶段，ChatGPT会借助LLM对大量的语料进行无监督学习，从而掌握语言的基本规律和语义结构。在此过程中，LLM能够协助ChatGPT发掘语言中的隐性模式和规律，使其在理解和生成自然语言时更为得心应手。进入微调阶段后，ChatGPT在LLM的支持下，会根据用户输入的数据进行有监督学习，进一步自主调整模型参数，以适应各种特定的任务和场景。举例来说，ChatGPT可以利用LLM对话的历史信息，在对话生成任务中灵活调整生成策略和语言表达方式，进而更好地满足人类在知识生成方面的需求，提高其效率、精确度和个性化程度。
（二）基于 transformer 模型的高质量知识表示和推理
知 识 表 示 与 推 理（Knowledge representation and reasoning，KR2）是人工智能领域的一项重要研究课题，是计算机有效处理知识和信息的基础，也是人工智能“弄懂”自然语言并输出高质量知识的关键。人类用自然语言对知识进行表示，但这种表示方法并不能被机器接受，于是发展出了能够将文本信息转化为计算机理解形式的知识表示方法。ChatGPT 采用的是向量表示法，即将每一个知识和概念等表示成一个多维向量，便于计算机理解和处理，而其获取向量的技术支撑便是 transformer 编码器 – 解码器模型。transformer模型是一种基于注意力机制的深度神经网络模型。多层的 transformer 模型构成分层结构，每一层都包含多头自注意力机制和前馈神经网络，能够更好地捕捉上下文信息和对多层处理输入文本，并将文本转化为富含语义信息的向量表示，用于后续的知识推理任务中。transformer 模型的核心组成部分自注意力机制，能够在不同层次、不同位置上自适应地聚焦不同的语义信息，帮助模型理解文本知识和推理规则。它可以将已有知识与先验语言知识有效结合，推理出新的结论和概念，以此让 ChatGPT 更好地理解复杂的语言推理任务，实现多轮对话和常识推理。有学者比较了ChatGPT 和 GPT-3.5 (textdavinci-003) 在不同任务上的零样本学习性能，研究发现，ChatGPT 的确在许多有利于推理能力的任务上有良好表现……
（本文为文章截选，完整版请见《教育传媒研究》2023年第3期，本刊已入中国知网、万方、维普等相关学术数据库）
作者
王仕勇
广西大学新闻与传播学院院长、教授
张成琳
马来西亚国立大学人文与社会科学学院博士研究生
《ChatGPT 参与知识生产的 技术路径、应用与挑战》
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
