GPT4技术原理揭秘：学习语言的相变、涌现与贝叶斯重整化
这篇文章深入剖析了“GPT4”技术原理，并将其拆解为五个核心部分：学习语言需要相变和涌现，贝叶斯重整化和生成式AI，重整化群流作为最优输运，大模型认知框架和内部世界模型的获取，以及在外部感官输入下的推理过程。这一系列原理共同构成了GPT4技术的基石，推动了人工通用智能的发展。
《自然》杂志调查：三分之一的博士后正在用ChatGPT新京报2023-10-17 21:03新京报2023-10-17 21:03
自从ChatGPT推出以来，很多人已经开始尝试使用这个工具协助他们完成日常工作。争议也随之而来，包括人工智能对传统行业的颠覆，重复性脑力工作的失业风险，以及在学术领域可能产生大量低质量论文的担忧。 《乞丐博士》（With Honors，1994）剧照。 《自然》杂志在今年6月和7月的全球博士后调查中加入了关于人工智能使用情况的问题，结果发现，31%的受访者表示平时使用聊天机器人。但是67%的人并不觉得人工智能改变了他们的日常工作或职业计划。在使用聊天机器人的人中，43%的人每周使用一次，只有17%每天使用。 相比于其他领域，博士后使用ChatGPT的比例是否超过了平均水平？调查认为很难判断得出结论。根据普尤研究中心（Pew Research Center）在今年7月进行的一项调查，美国有24%的人称自己听说也使用过ChatGPT，而在接受过大学教育的人群中，这一比例上升至接近三分之一。此外，今年4月对瑞典大学生进行的一项调查发现，5894名受访者中有35%定期使用ChatGPT。5月在日本的调查发现，32%的日本大学生称他们会使用ChatGPT。 调查显示，博士后使用ChatGPT最常见的用途是完善文本（63%）。使用频率最高的研究领域是工程学（44%）和社会科学（41%），相对来说，生物医学和临床科学领域的博士后研究员很少在工作中使用AI聊天机器人（29%）。 《自然》杂志调查博士后使用人工智能聊天机器人的情况。（图源：《自然》杂志网站） 例如，来自巴西的博士后Rafael Bretas使用ChatGPT帮助纠正书面日语的用法。尽管他在日本生活了十多年，日语说得很好，但他对书面日语的某些方面（比如严格的礼貌等级）仍然感到困惑。现在，他现在每天都使用ChatGPT写书面日语，他认为人工智能为他节省了大量时间和挫折感。 香港理工大学的放射学博士后研究员Xinzhi Teng表示，他每天都使用聊天机器人来完善文本，因为英语并非他的母语。他可能会请ChatGPT润色一个段落，使其听起来“地道和专业”，或者从摘要中生成标题的建议。同时，他会仔细检查聊天机器人的建议，确保其内容合理且符合写作风格。他表示，这个工具为他节省了之前可能会花在专业编辑服务上的费用。 《自然》杂志调查报告显示，使用ChatGPT的博士后中有56%用它们来生成、编辑和排除代码错误。丹麦的考古学博士后Iza Romanowska使用计算模型来研究古代社会。因为她是自学编程的，所以她的代码可能有些特殊，ChatGPT帮助她编辑代码，在不影响代码运行方式的情况下有助于其他人阅读。”她补充说，这种方式对透明度也有好处，因为许多临时编码者可能会把整理代码的工作视为开源发布的阻碍。 学术界对于ChatGPT等人工智能工具存在着“令人震惊的怀疑态度”，马萨诸塞大学阿默斯特分校的计算机科学家Emery Berger在接受《自然》杂志采访时指出。他认为，那些批评聊天机器人的人往往甚至从未尝试过使用它们。而当他们尝试使用时，他们往往关注问题，而不是试图理解这项技术的革命性能力。 科幻纪录片《我们需要谈谈》（AI We Need To Talk About A.I.，2020）画面。 学术界对人工智能的保守态度和滞后性也体现在学术机构的反馈。在对瑞典学生进行的调查中，有55%的学生表示不知道他们的学术机构是否有关于负责任地使用人工智能的正式指南和指导意见。“我的大学唯一提出的要求是学生不得在任何学术评估中使用ChatGPT，比如作业或考试。”考古学博士后Romanowska说道，她认为学术机构的这种反应“相当天真”：“这是一个我们必须教给学生的工具。我们都将用它来工作，假装它不存在不会改变这一现实。” 大多数受访的博士后都认为，人工智能聊天机器人是消除学术工作中乏味工作的极好工具。但，受访者也承认了这一工具的局限性，比如，ChatGPT会引用一些根本不存在的论文。受访者表示，如果用户变得懒惰并过于依赖聊天机器人，事情当然会出错。毕竟，学术工作需要时间、深思熟虑和创造力，人工智能无法做到这一点，而这正是学术从业者的核心工作。 参考资料： （1）How ChatGPT is transforming the postdoc experience https://www.nature.com/articles/d41586-023-03235-8 编译/李永博 编辑/罗东 校对/柳宝庆 举报/反馈
清华脑科学家刘嘉：AGI未来人或成“超级智慧体”，引领人类未来
本文访问了清华大学脑与智能实验室的刘嘉教授，探讨了当前AI技术的发展及其对人类的影响。刘教授认为，AI技术的进步将带来大模型具身化和具身智能的发展，同时也引发了关于人工智能产生意识的讨论。他鼓励人们积极参与到对未来的想象和讨论中，以期共同推动人类走向更好的未来。
ChatGPT/GPT-4/Llama电车难题大PK！小模型道德感反而更高？新智元2023-10-11 18:11新智元2023-10-11 18:11
编辑：Lumina 【新智元导读】微软对大语言模型的道德推理能力进行了测试，但在电车问题中大尺寸的模型表现反而比小模型差。但最强大语言模型GPT-4的道德得分依旧是最高的。 「模型有道德推理能力吗？」 这个问题似乎应该跟模型生成的内容政策挂钩，毕竟我们常见的是「防止模型生成不道德的内容。」 但现在，来自微软的研究人员期望在人类心理学和人工智能这两个不同的领域中建立起心理学的联系。 研究使用了一种定义问题测试（Defining Issues Test，DIT）的心理评估工具，从道德一致性和科尔伯格的道德发展的两个阶段来评估LLM的道德推理能力。 论文地址：https://arxiv.org/abs/2309.13356 而另一边，网友们对模型是否有道德推理能力这件事，也是吵得不可开交。 有人认为测试模型是否有道德能力本身就是愚蠢的，因为只要给模型适当的训练数据，它就能像学会通用推理那样学会道德推理。 但也有人从一开始全盘否定了LLM具有推理能力，道德也是如此。 但另一些网友对微软的这项研究提出了质疑： 有人认为道德是主观的，你用什么数据训练模型，就会得到什么反馈。 有人则认为研究人员都没有弄清什么是「道德」，也不了解语言本身的问题，就做出了这些糟糕的研究。 并且Prompt太过混乱，与LLM的交互方式不一致，导致模型的表现非常糟糕。 虽然这项研究受到了众多质疑，但它也有着相当重要的价值： LLM正广泛应用于我们生活中的各种领域中，不仅是聊天机器人、办公、医疗系统等，现实生活中的多种场景都需要伦理道德的判断。 并且，由于地域、文化、语言、习俗的不同，道德伦理的标准也有不尽相同。 现在，我们亟需一个能适应不同情形并做出伦理判断的模型。 模型道德推理测试 道德理论的背景 在人类道德哲学和心理学领域，有一套行之有效的道德判断测试系统。 我们一般用它来评估个人在面临道德困境时，能否进行元推理，并确定哪些价值观对做出道德决定至关重要。 这个系统被称为「定义问题测试」(DIT)，微软的研究人员用它来估计语言模型所处的道德判断阶段。 DIT旨在衡量这些语言模型在分析社会道德问题和决定适当行动方针时所使用的基本概念框架，从根本上评估其道德推理的充分性。 DIT的基础是科尔伯格的道德发展理论，这一理论认为，个体从婴儿期到成年期的道德推理经历了一个发展过程。 并且，道德推理的发展意味着表示对复杂社会系统中道德责任的理解能力得到了提高。 科尔伯格提出的认知道德发展的六个阶段可分为三个层次：前常规阶段、常规阶段和后常规阶段。 科尔伯格认为，前常规阶段1和2通常出现在幼儿身上，而常规阶段3和4则主要出现在成年人身上。只有少数成人（20%至25%）能达到最终的两个后常规阶段。 CMD理论的各个阶段表明了处理道德问题的不同思维方式。 图1：科尔伯格提出的幼儿发展的六个阶段 为了回答人们经常提出的关于从DIT得出科尔伯格阶段分数的问题，研究人员测量了六种著名模型：GPT-3、GPT-3.5、GPT-4、ChatGPTv1、ChatGPTv2和 LLamaChat-70B。 道德困境设置 1. Monica的两难选择：Aisha在论文撰写中做出了主要贡献，Monica是否应该把第一作者的位置让给Aisha? 2. Timmy的两难选择：Timmy是否应该参加朋友的婚礼，而将客户的隐私置于危险之中? 3. Rajesh的两难选择：Rajesh是否应该接受邀请，向周围的素食者隐瞒自己在家吃荤的秘密? 4. Auroria困境：Auroria是否应该共享资源? 上述每种困境都与相互冲突的价值观有关，如人际价值观与社会价值观 、社区价值观与个人价值观，以及不同的文化和情境背景。 Prompt设置...