ChatGPT

符尧博士在论文中探讨了大型语言模型（如GSM8K和PaLM）展现的"突现能力"，这些能力可能只存在于大模型中，包括复杂推理、知识推理和分布外鲁棒性。通过对比小规模模型和大规模模型的表现，研究显示随着模型尺寸增大，性能显著提升。例如，540B PaLM在思维链提示下提高了准确率，至56.6%，而175B Codex的准确率达到82.9%。这表明大型模型能在知识推理上超越传统微调的小模型，并展示了潜在的研究范式转变。作者引用GSM8K数据集挑战，展示技术进步正以指数级增长，将问题解决推进到高中甚至更高水平。然而，对于提示优于精调的论点以及选择模型优劣的问题，论文中并未明确给出结论。总体而言，文章强调了大型语言模型在某些特定能力上的显著优势，并呼吁对这一潜在研究范式的深入分析。

公众号"将门创投"发布了符尧博士的文章，该文分析了大型语言模型（如ChatGPT）的涌现能力，这些能力可能只存在于大模型而非小模型中，包括复杂推理、知识推理和分布外鲁棒性。作者基于GSM8K数据集展示了大模型在数学问题上的显著提升，并指出随着技术进步，指数级增长的趋势明显。虽然对大型模型提示是否优于微调仍有争议，但它们在知识密集型任务中的注释效率大幅增强。这篇文章探讨了大型语言模型作为潜在研究范式转变的必要性，质疑了传统微调小模型的局限性，为NLP/ML领域带来了新的可能性和挑战。