文章主题：ChatGPT, 知识生产, 人工智能, 深度学习
刊载信息
王仕勇和张成琳在《教育传媒研究》2023年第3期的论文中，探讨了ChatGPT在知识生产中的技术路径、应用及所面临的挑战。
内容摘要
ChatGPT 技术的崛起引发了知识生产领域的革命性变化。借助卓越的自然语言处理技术和算法，知识生产正在迈向智能化、自主化、高质量、仿真化和个性化。在未来，ChatGPT 有可能在教育培训、新闻媒体和学术研究等与知识生产紧密相关的领域发挥关键作用。然而，在参与知识生产的过程中，ChatGPT 也面临着一些挑战，如真实性、可靠性的评估问题，学术伦理和知识产权的冲击，以及人类知识生产潜力和自主性的威胁。因此，本文认为，在强人工智能时代，我们应该把握以人为本的知识生产原则，重新审视人机协作和融合的方式。
关键词
ChatGPT；知识生产；人工智能；深度学习；学术伦理；知识产权
在近年来的知识生产领域中，人工智能（AI）的应用形式多样，覆盖了诸如自然语言处理、计算机视觉、机器学习等多个领域。然而，这些应用的总体智能水平相对较低，自主性也较为有限，因此很难摆脱弱人工智能的定位。2022年11月30日，美国OpenAI公司发布了一款名为ChatGPT的聊天机器人，这款产品在短时间内引发了全球范围内的广泛关注，仅一周时间，其用户数量便突破了百万大关。作为一款基于深度学习技术的自然语言处理工具，ChatGPT具备自动生成、摘要和翻译等多重功能，已在文本自动生成、自然语言处理以及知识管理等领域得到广泛应用。ChatGPT的快速发展被誉为“AI时代的二次复兴”，它标志着人类正式告别弱人工智能时代。
一、ChatGPT 参与知识生产的技术路径
在人类知识的发展历程中，我们可以观察到一个由经验导向到原理驱动，再到以信息技术平台为基础的多样化知识形态的演变过程。这种演变不仅实现了知识的规模整合，也推动了不同知识领域的交叉互动，从而颠覆了传统的学习生产模式。其中，语言这一知识载体首当其冲，迎接这场变革。伴随着计算机科技的飞速进步，人们对于计算机能否如同人类一般处理自然语言的期望逐渐升高，这使得自然语言处理（NLP）技术应运而生。作为一种机器学习方法，NLP专注于探讨计算机如何理解和生成自然语言。在众多自然语言处理模型中，ChatGPT（Generative Pre-trained Transformer）就是一个典型的例子。ChatGPT依托于LLM（Large Language Model，大型语言模型），通过创新性地运用transformer模型和自注意力机制等技术，同时借助RLHF（Reinforcement Learning with Hindsight Feedback，人类反馈强化学习）进行训练。这一系列的技术创新使得ChatGPT能够更自然地进行对话交互，进而推动知识生产的智能化、自主化、高质量、仿真化和个性化的进程。
（一）依托大型语言模型（LLM）的智能化生成和自主化学习
ChatGPT采用了预训练和微调两个阶段的训练方法来构建其语言模型。其中，预训练的基础是大规模预训练的深度学习语言模型LLM，它通常由数十亿甚至数百亿的参数构成，因此需要在大量的数据集上进行预训练。ChatGPT的模型参数高达1750亿，涵盖了多种类型的数据，包括从公开语料库中获取的以及OpenAI自行爬取的超过万亿个单词的人类语言数据。为了在这些海量数据基础上进行预训练，ChatGPT采用了MLM（掩码语言模型）和NSP（下一句预测）的方法。MLM技术能够在输入文本中随机替换某些单词，并通过模型预测这些被掩码的单词，以此锻炼模型的语言理解能力。NSP则让模型预测两句话之间的逻辑关系，进一步使模型能够理解和建模语言的结构和语义，从而更好地模仿训练文本，智能化地生成各种语言表达形式，如对话、文章、摘要和翻译等。
通过利用LLM和ChatGPT，我们可以实现一种高效的自主化学习方式。在预训练阶段，ChatGPT会借助LLM对大量的语料进行无监督学习，从而掌握语言的基本规律和语义结构。在此过程中，LLM能够协助ChatGPT发掘语言中的隐性模式和规律，使其在理解和生成自然语言时更为得心应手。进入微调阶段后，ChatGPT在LLM的支持下，依据用户输入的数据进行有监督学习，自我调整模型参数，以适应各种特定的任务和场景。举例来说，ChatGPT可以参考LLM提供的对话历史信息，在对话生成任务中，自动调整生成策略和语言表达方式，以更贴合人类在知识生成方面的需求，提高效率、精确度和个性化程度。
（二）基于 transformer 模型的高质量知识表示和推理
在人工智能领域，知识表示与推理（Knowledge representation and reasoning，简称KR2）被视为一项关键的研究课题。这是为了确保计算机能够有效地处理和理解知识，进而使人工智能系统具备解读自然语言以及生成高质量知识的能力。尽管人们使用自然语言来描述知识，但这些描述方式往往无法被机器所接受。因此，研究人员致力于开发能够将文本信息转换成计算机可以理解的知识表示方法。在众多知识表示方法中，ChatGPT采用了向量表示法，将各种知识和概念都转化为多维向量，以便于计算机进行理解和处理。而支持这种向量表示的技术基础则是transformer编码器-解码器模型。transformer模型是一种基于注意力机制的深度神经网络模型，具有分层结构，每一层都包含多头自注意力机制和前馈神经网络，能够更有效地捕捉上下文信息和对多层处理输入文本，将文本转化为富含语义信息的向量表示，从而用于后续的知识推理任务。transformer模型的核心组成部分是自注意力机制，它能在不同层次和位置上自适应地关注不同的语义信息，有助于模型理解文本知识和推理规则。通过将现有知识与先验语言知识相结合，transformer机制能推理出新的结论和概念，使得ChatGPT能够更好地理解复杂的语言推理任务，从而实现多轮对话和常识推理。有学者对ChatGPT和GPT-3.5（textdavinci-003）在不同任务上的零样本学习性能进行了比较研究，结果表明，ChatGPT在许多有利于推理能力的任务上表现出色。
这篇文章的选择性引用，完整的版本可以在《教育传媒研究》2023年第3期中找到，已经成功入库我国知名的学术数据库，如中国知网、万方和维普等。
作者
王仕勇
广西大学新闻与传播学院院长、教授
张成琳
马来西亚国立大学人文与社会科学学院博士研究生
《ChatGPT 参与知识生产的 技术路径、应用与挑战》
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
