本科

符尧博士在论文中探讨了大型语言模型（如GSM8K和PaLM）展现的"突现能力"，这些能力可能只存在于大模型中，包括复杂推理、知识推理和分布外鲁棒性。通过对比小规模模型和大规模模型的表现，研究显示随着模型尺寸增大，性能显著提升。例如，540B PaLM在思维链提示下提高了准确率，至56.6%，而175B Codex的准确率达到82.9%。这表明大型模型能在知识推理上超越传统微调的小模型，并展示了潜在的研究范式转变。作者引用GSM8K数据集挑战，展示技术进步正以指数级增长，将问题解决推进到高中甚至更高水平。然而，对于提示优于精调的论点以及选择模型优劣的问题，论文中并未明确给出结论。总体而言，文章强调了大型语言模型在某些特定能力上的显著优势，并呼吁对这一潜在研究范式的深入分析。