复旦清华联合顶刊发文｜ChatGPT：潜力、前景和局限
来源：信息与电子工程前沿FITEE 作者：周杰 柯沛 邱锡鹏 黄民烈 张军平 编辑：好困 【新智元导读】为更好地理解ChatGPT，这里我们简要介绍其历史，讨论其优点和不足，指出几个潜在应用，最后分析它对可信赖人工智能、会话搜索引擎和通用人工智能（artificial general intelligence, AGI）发展的影响。 最近，OpenAI发布了对话生成预训练模型Transformer（Chat Generative Pre-trained Transformer，ChatGPT）（Schulman et al., 2022），其展现的能力令人印象深刻，吸引了工业界和学术界的广泛关注。这是首次在大型语言模型（large language model, LLM）内很好地解决如此多样的开放任务。 ChatGPT成为历史上增长最快的消费者应用程序，在发布后两个月内，吸引了1亿月度活跃访客（Hu，2023）。自发布以来，因其高超的对话能力，已引爆社会关注。它可以回答后续提问，拒绝不当请求，挑战错误前提，并承认自己错误（Schulman et al., 2022）。它获得许多涌现能力，如高质量对话、复杂推理、思维链（CoT）（Wei et al., 2022b）、零/少样本学习（语境学习）、跨任务泛化、代码理解/生成等等。 论文地址：https://link.springer.com/article/10.1631/FITEE.2300089 这些令人印象深刻的能力，ChatGPT是如何获得的？ 其主要得益于大型语言模型，它利用语言模型（LM）在大规模数据上训练巨大的神经网络模型，如Transformer（Vaswani et al., 2017）。语言模型旨在根据上文预测下一个词的概率，是文本中的自监督信号。 互联网上存在大规模文本数据，所以通过语言模型对模型进行预训练是顺理成章的。现有研究表明，模型规模和数据量越大，性能越好。当模型和数据规模达到一定程度时，模型将获得涌现能力。 例如，OpenAI发布的GPT-3（Brown et al., 2020）有1750亿个参数。它的预训练采用超级计算机（285 000个CPU，10 000个GPU）在45 TB文本数据上完成。 而模型也由此在零样本学习任务上实现了巨大性能提升，具有小模型所不具备的语境学习能力。随后，更多策略——如代码预训练（Chen et al., 2021）、指令微调（Wei...
