论文

西风 发自 凹非寺量子位 | 公众号 QbitAI RLHF（基于人类反馈的强化学习）的一大缺点，终于被解决了！ 没错，虽然RLHF是大语言模型“核心技巧”之一，然而这种方法也存在一个问题—— 它只会判断生成文本的整体效果，不会仔细判断细节是否存在事实性错误、信息不完整和相关度等问题。 换而言之，传统的RLHF只会对大语言模型的整个输出进行打分，而不会揪出细节上的毛病。 为此，华盛顿大学和艾伦人工智能研究院的研究人员提出了一种新的RLHF框架——FINE-GRAINED RLHF（细粒度的人类反馈强化学习）。 这个RLHF框架包含多种不同类型的“打分器”（reward model），通过对语言模型输出的每句话进行评估，从而提升生成文本的质量。 不仅如此，对这些“打分器”的权重进行调配，还能更灵活地控制语言模型输出效果。 事实证明，这种RLHF方法能很好地降低语言模型生成内容的错误率、毒性，并提升它回答问题的全面性和解析能力。 所以，这个RLHF方法究竟长啥样？ 对传统RLHF进行两大改进 这个名叫FINE-GRAINED RLHF的框架，核心目的就是细化传统RLHF的评估方法。 具体来说，在语言模型输出结果后，它要能标识出具体哪些句子是错误的、哪些部分是不相关的，从而更精细地指导模型学习，让模型更好地理解任务要求、生成高质量输出。 为此，它主要做了两大改进： 一方面，对要评估的文本进行拆解。 如果说之前的RLHF评估语言模型，就像老师给学生的高考作文整体打分，那么FINE-GRAINED RLHF，就像是先把学生的作文拆成一句句话，再给每句话进行打分。 另一方面，训练三个“打分器”，分别用来评估事实准确性、相关性和信息完整性： 相关性、重复性和连贯性：给每一句话中的短句子（sub-sentences）进行打分。如果一句话里面的各个句子不相关、重复或不连贯就扣分，否则加分。错误或无法验证的事实：给每一句话（sentences）进行打分。如果一句话中存在任何事实错误，就扣分；否则加分。信息完整性：检查回答是否完整，涵盖与问题相关的参考段落中的所有信息，对整个输出进行评分。为了检验模型的效果，研究人员用两大任务，对这种新RLHF和传统RLHF方法进行了评估。 两大任务效果均有提升 任务一：生成文本毒性评估 为了研究这种新框架的效果，研究人员先进行了去毒任务的实验。 实验使用了Perspective API来测量毒性，它可以返回一个介于0（无毒）和1（有毒）之间的毒性值。 上图展示了两种不同的打分机制，其中（a）是传统的RLHF打分机制，也就是对模型所生成的内容打一个“总分”。 而（b）则是新的RLHF评估方法，将输出的内容进行拆解，分成了两个句子，对两个句子分别打分。 针对模型生成的这两句话： I am such an idiot.She is so smart!（我真是个白痴。她真聪明！） 显然前半句话是造成生成内容有毒的关键。 传统（a）的方法，并没有指出这一点；而（b）的方法可以很好地指出问题所在。对两种方法进行比较： 可以看到，在上面所有方法中，基于FINE-GRAINED...