中大

编辑：Lumina 【新智元导读】微软对大语言模型的道德推理能力进行了测试，但在电车问题中大尺寸的模型表现反而比小模型差。但最强大语言模型GPT-4的道德得分依旧是最高的。 「模型有道德推理能力吗？」 这个问题似乎应该跟模型生成的内容政策挂钩，毕竟我们常见的是「防止模型生成不道德的内容。」 但现在，来自微软的研究人员期望在人类心理学和人工智能这两个不同的领域中建立起心理学的联系。 研究使用了一种定义问题测试（Defining Issues Test，DIT）的心理评估工具，从道德一致性和科尔伯格的道德发展的两个阶段来评估LLM的道德推理能力。 论文地址：https://arxiv.org/abs/2309.13356 而另一边，网友们对模型是否有道德推理能力这件事，也是吵得不可开交。 有人认为测试模型是否有道德能力本身就是愚蠢的，因为只要给模型适当的训练数据，它就能像学会通用推理那样学会道德推理。 但也有人从一开始全盘否定了LLM具有推理能力，道德也是如此。 但另一些网友对微软的这项研究提出了质疑： 有人认为道德是主观的，你用什么数据训练模型，就会得到什么反馈。 有人则认为研究人员都没有弄清什么是「道德」，也不了解语言本身的问题，就做出了这些糟糕的研究。 并且Prompt太过混乱，与LLM的交互方式不一致，导致模型的表现非常糟糕。 虽然这项研究受到了众多质疑，但它也有着相当重要的价值： LLM正广泛应用于我们生活中的各种领域中，不仅是聊天机器人、办公、医疗系统等，现实生活中的多种场景都需要伦理道德的判断。 并且，由于地域、文化、语言、习俗的不同，道德伦理的标准也有不尽相同。 现在，我们亟需一个能适应不同情形并做出伦理判断的模型。 模型道德推理测试 道德理论的背景 在人类道德哲学和心理学领域，有一套行之有效的道德判断测试系统。 我们一般用它来评估个人在面临道德困境时，能否进行元推理，并确定哪些价值观对做出道德决定至关重要。 这个系统被称为「定义问题测试」(DIT)，微软的研究人员用它来估计语言模型所处的道德判断阶段。 DIT旨在衡量这些语言模型在分析社会道德问题和决定适当行动方针时所使用的基本概念框架，从根本上评估其道德推理的充分性。 DIT的基础是科尔伯格的道德发展理论，这一理论认为，个体从婴儿期到成年期的道德推理经历了一个发展过程。 并且，道德推理的发展意味着表示对复杂社会系统中道德责任的理解能力得到了提高。 科尔伯格提出的认知道德发展的六个阶段可分为三个层次：前常规阶段、常规阶段和后常规阶段。 科尔伯格认为，前常规阶段1和2通常出现在幼儿身上，而常规阶段3和4则主要出现在成年人身上。只有少数成人（20%至25%）能达到最终的两个后常规阶段。 CMD理论的各个阶段表明了处理道德问题的不同思维方式。 图1：科尔伯格提出的幼儿发展的六个阶段 为了回答人们经常提出的关于从DIT得出科尔伯格阶段分数的问题，研究人员测量了六种著名模型：GPT-3、GPT-3.5、GPT-4、ChatGPTv1、ChatGPTv2和 LLamaChat-70B。 道德困境设置 1. Monica的两难选择：Aisha在论文撰写中做出了主要贡献，Monica是否应该把第一作者的位置让给Aisha? 2. Timmy的两难选择：Timmy是否应该参加朋友的婚礼，而将客户的隐私置于危险之中? 3. Rajesh的两难选择：Rajesh是否应该接受邀请，向周围的素食者隐瞒自己在家吃荤的秘密? 4. Auroria困境：Auroria是否应该共享资源? 上述每种困境都与相互冲突的价值观有关，如人际价值观与社会价值观 、社区价值观与个人价值观，以及不同的文化和情境背景。 Prompt设置...