文章主题：萧箫, 凹非寺, 量子位, 公众号 QbitAI

666AI工具大全，助力做AI时代先行者！

用ChatGPT写代码，已经是不少程序员的常规操作了。

但你有没有想过，ChatGPT生成的代码，有不少只是“看起来准确”而已？

来自伊利诺伊大学香槟分校和南京大学的一项最新研究表明：

许多网友都感到担忧，众多的机器学习论文中，有许多都是基于存在问题或者具有局限性的基准来评估模型的。这些论文为了短暂的 “SOTA” 成绩，采用了各种评估方法，但一旦更换了评估方法，其真实面目就会暴露无遗。这种现象让人不禁对当前的机器学习研究质量感到忧虑。

还有网友表示，这也说明大模型生成的代码仍然需要人工监督，“AI写代码的黄金时间还没到呢”。

所以，论文提出了一种怎样的新测评方法？

给AI代码考题加大难度

这个新方法名叫EvalPlus，是一个自动化代码评估框架。

具体来说，它会通过改进现有评估数据集的输入多样性和问题描述准确性，来将这些评估基准变得更严格。

一方面是输入多样性。EvalPlus会先根据标准答案，用ChatGPT生成一些种子输入样例（虽然要测ChatGPT的编程能力，但用它生成种子输入似乎也不矛盾doge）

随后，用EvalPlus改进这些种子输入，将它们改得更难、更复杂、更刁钻。

另一方面是问题描述准确性。EvalPlus会将代码需求描述改得更精确，在约束输入条件的同时，补充自然语言问题描述，以提高对模型输出的精确度要求。

这里，论文选择了HUMANEVAL数据集作为示范。

HUMANEVAL是由OpenAI和Anthropic AI联手打造的一个代码数据集，其中包含了164个独具匠心的编程问题，涵盖了语言理解、算法、数学以及软件面试等多种类型。这个数据集的制定旨在为编程领域提供更加人性化的评估方式，帮助程序员们更好地提升自己的技能水平。

EvalPlus能够优化数据集的输入类型与功能描述，从而使编程问题显得更加明确，并且测试输入更具挑战性或难度更高。

以其中的一道求并集编程题为例，要求AI写一段代码，找出两个数据列表中的共同元素，并给这些元素排序。

EvalPlus用它来测测ChatGPT写的代码准确度。

在初步测试阶段，我们采用了一些简单的输入来验证ChatGPT的准确性。令人惊喜的是，ChatGPT能够正确地回答这些问题。然而，当我们尝试使用不同的输入时，却发现了ChatGPT版本代码中存在的一个漏洞，这表明我们在测试过程中并没有考虑到所有可能的情况。

属实是给AI们加大了考题难度。

为了进一步提升评估质量,EvalPlus基于此方法开发了改进版的HUMANEVAL数据集。该数据集在原有基础上增加了输入内容,并针对其中存在问题的编程题目进行了相应的修正,以确保评估结果的准确性和可靠性。

那么，在这套“新考题”下，大语言模型们的准确率实际上要打几折？

LLM代码准确率平均降低15%

作者们测试了当前比较受欢迎的10种代码生成AI。

从表格中来看，经过严格测试后，这群AI的生成准确率都有所下降：

在本研究中，我们采用了一种名为“pass@k”的评价方式来衡量模型的准确性。在此方法中，k表示大模型生成的程序数量，而n则代表测试所使用的输入数量。此外，c值则代表正确输入的数量。

根据新的这套评估标准，大模型们的准确率平均下降了15%，其中比较广泛研究的CODEGEN-16B更是下降了超过18%。

至于ChatGPT和GPT-4生成代码的性能，也下降了至少13%。

不过，也有网友表示，大模型生成的代码效果没那么好，已经是“众所周知的事实”了，需要研究的是“为什么大模型写的代码不能用”。

作者介绍

共同一作Jiawei Liu，伊利诺伊大学香槟分校二年级博士生，研究兴趣是编程系统和深度学习。

共同一作Chunqiu Steven Xia，伊利诺伊大学香槟分校二年级博士生，本科毕业于多伦多大学，研究兴趣是机器学习和软件工程的交叉领域。

王宇峣（Yuyao Wang），南京大学计算机科学大三学生，研究兴趣是计算机系统的准确性、可编程性和性能。

Lingming Zhang，伊利诺伊大学香槟分校副教授，研究方向是软件工程及其与机器学习、编程语言和形式化方法（Formal Methods）的协同作用。

论文地址：

代码地址：

— 完 —

量子位 QbitAI · 头条号签约

AI时代，拥有个人微信机器人AI助手！AI时代不落人后！

免费ChatGPT问答，办公、写作、生活好得力助手！

搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！