OpenAI

本期要目●中、美、欧盟等签署《布莱切利宣言》，同意就AI安全问题开展合作●美国副总统哈里斯在伦敦演讲中概述了美国的人工智能战略●Politico：硅谷人工智能顾问网络如何影响华盛顿决策●联合国人工智能报告：缩小政府应对措施中的差距●美国参议员提出《2023年AI进步法案》，要求国防部加强AI监管●40国联盟将签署承诺，拒绝向勒索软件黑客支付赎金●美澳签协议，允许美国火箭从澳大利亚发射●埃隆·马斯克表示，人工智能安全峰会旨在建立“第三方裁判”●加拿大打造量子通信网络试验平台●韩国将建成首个清洁制氢-运输-利用全周期生态系统●Nature最新调查显示，全球1/3博士后每天使用ChatGPT 1中、美、欧盟等签署《布莱切利宣言》，同意就AI安全问题开展合作 据路透社11月2日消息，在英国举行的峰会上，中国同意与美国、欧盟和其他国家合作，共同管理人工智能带来的风险，旨在为这项快速发展的技术规划一条安全的前进道路。11月1日-2日英国召集举行第一届人工智能国际峰会，中国科技部副部长吴朝晖率团出席，其他与会者还包括美国及欧盟高官以及科技高管。包括美国、中国和欧盟在内的超过25个与会国签署了一份《布莱切利宣言》，称各国需要共同努力，设定共同的监督方法。该宣言提出了一个双管齐下的议程，重点是确定共同关注的风险并对其建立科学理解，同时制定跨国政策来减轻风险。 2美国副总统哈里斯在伦敦演讲中概述了美国的人工智能战略 据财联社11月2日消息，美国副总统哈里斯在英国举行的人工智能安全峰会上发表了一篇演讲，阐述了人工智能带来的日益增长的风险，呼吁国际合作和更严格的标准来保护消费者免受人工智能的侵害。哈里斯公布了白宫正在采取的一系列措施，以解决与人工智能相关的潜在危险。其中包括在商务部内部成立一个新的人工智能安全研究所，该研究所将制定指导方针和工具，以减轻这项技术带来的危险。美国管理和预算办公室还计划发布有关美国政府应如何使用人工智能的政策指导草案。 3Politico：硅谷人工智能顾问网络如何影响华盛顿决策 据清华大学战略与安全研究中心公众号10月31日动态，Politico10月13日刊登其记者布伦丹·博德隆（Brendan Bordelon）的分析文章《亿万富翁支持的人工智能顾问网络如何影响华盛顿》，文章指出，一个由硅谷亿万富翁和大型人工智能公司支持的组织“地平线公共服务研究所”（于2022年创建的非营利组织），在国会、联邦机构和智库中安插了多名人工智能研究员，以推动政策制定者对人工智能的关注，而这可能会使国会忽视其他更紧迫的议题，并让与该网络有关系的大型人工智能公司受益。同时，“地平线公共服务研究所”及其专家团队研究人工智能可能对人类生存造成灾难性的危险，需要制定相应的监管措施。许多人工智能学者认为灾难性风险是遥远的科幻问题，与当前人工智能系统造成的实际危害相距甚远，而他们担心这种关注会分散政策制定者对更紧迫问题的注意力，包括一些大型人工智能公司希望不被纳入政策议程。文章指出，“地平线公共服务研究所”与OpenAI、Anthropic两家人工智能公司有重要的财务和人事联系。 4联合国人工智能报告：缩小政府应对措施中的差距 据路透社10月31日消息，根据联合国的一份人工智能临时报告显示，将引导政府和私营部门更多地思考人工智能治理、风险和机遇。联合国上周成立了一个由39名成员组成的咨询机构，以解决人工智能国际治理中的问题。该机构预计将在今年年底前提交一份初步报告，明年提交一份最终报告。联合国技术特使阿曼迪普·辛格·吉尔（Amandeep Singh Gill）表示，“我们需要检查现有的跨境治理应对措施的前景，然后看看差距在哪里，以及我们如何将治理应对措施联系起来，这样就不会出现差距。” 5美国参议员提出《2023年AI进步法案》，要求国防部加强AI监管 据元战略公众号11月1日动态，MeriTalk网站10月31日消息，查克·舒默等美国两党参议员共同提出新的《2023年AI进步法案》，要求国防部（DoD）为集成到该部门的AI模型创建一个AI漏洞赏金计划，旨在通过快速且高效的方式，在对手利用未知漏洞之前识别和修复漏洞。该法案还要求DoD对AI军事应用漏洞进行研究，在法案通过一年后提交报告。此外，DoD还需要报告如何提升其应用AI技术的数据共享、互操作性和质量。同时，该法案还要求一份关于金融服务行业AI监管的报告。 640国联盟将签署承诺，拒绝向勒索软件黑客支付赎金 据IT之家11月2日消息，40个国家将在第三届国际反勒索软件倡议峰会上签署一项承诺，不再向网络犯罪团伙支付勒索赎金。美国白宫副国家安全顾问安妮·诺伊伯格表示，这一倡议是为了应对全球范围内创纪录的勒索软件风险，其中约46%的事件针对美国。诺伊伯格还表示，虽然有48个国家、欧盟和国际刑警组织的代表将参加本周的反勒索软件倡议峰会，但并非所有国家都确认将签署本周的反勒索软件声明。据了解，峰会期间的国际讨论还将重点关注阻断勒索软件团伙用于资助其行动的资金的策略。 7美澳签协议，允许美国火箭从澳大利亚发射 据航天界公众号10月28日动态，美国国务院10月26日宣布，澳大利亚和美国政府签署了一项“技术保障协议”（TSA），允许美国火箭从澳大利亚航天港发射。澳大利亚的行业官员表示，澳大利亚的航天港将因此能够签署期待已久的美国商业火箭发射合同。据了解，澳大利亚赤道发射公司（ELA）运营北部的阿纳姆航天中心，南方发射公司（Southern Launch）运营南部的威尔斯湾入轨发射场和库尼巴试验靶场。 8埃隆·马斯克表示，人工智能安全峰会旨在建立“第三方裁判” 据路透社11月2日消息，埃隆·马斯克表示，英国首届人工智能安全峰会希望建立一个“第三方裁判”，监督开发人工智能的公司，并在他们有担忧时发出警报。马斯克告诉记者：“我们真正的目标是建立一个洞察力框架，这样至少有一个第三方裁判，一个独立的裁判，可以观察领先的人工智能公司在做什么，如果他们有担忧，至少会发出警报。”马斯克指出，在政府采取监管行动之前，他们需要先了解AI的发展情况。“我不知道公平的规则是什么，但是在（政府）监管之前，你必须先洞察。我认为AI领域的很多人都担心，政府在知道该怎么做之前会过早地制定规则。我认为这不太可能发生。”马斯克表示。 9加拿大打造量子通信网络试验平台 据量子前哨公众号10月30日动态，加拿大在魁北克省舍布鲁克的DistriQ量子创新区建立量子网络试验平台，并将于2024年初在魁北克省蒙特利尔市设立新量子网络试验平台。目前，这一量子网络试验平台由非营利组织Numana管理，并承担试验平台的部署和操作任务。该组织表示，量子网络的建设将对魁北克省的商业、量子通信乃至整个加拿大的社会经济领域产生巨大影响。魁北克地区经济发展部将为该项目提供总计1000万加元的资金。此外，加拿大联邦政府还将额外提供360万美元的资金支持。 10韩国将建成首个清洁制氢-运输-利用全周期生态系统 据双碳情报公众号11月1日动态，韩国贸易、工业和能源部（MOTIE）10月23日宣布，韩国首个清洁氢能生产、运输和利用的全周期生态系统将在济州岛建成。自2020年以来，MOTIE一直在通过Haengwon水电解示范项目，推动建立一个结合可再生能源稳定低成本生产氢气的系统。目前，Haengwon水电解示范综合设施每天利用附近风力发电场的电力生产约200公斤的氢气，并通过管式拖车将氢气运送到加氢站，供氢能巴士和氢能电动汽车充电。未来计划将氢气日产量提高到1吨，以满足日益增长的氢气需求。该示范项目是韩国首个氢气全循环生态系统的项目，济州岛计划扩大该生态系统，到2025年提供5个加氢站（目前为1个），到30年提供300辆氢公共汽车（目前为9辆）。 11Nature最新调查显示，全球1/3博士后每天使用ChatGPT 据元战略公众号10月31日动态，Nature杂志最新调查显示，全球博士后中，有31%的人表示他们经常使用ChatGPT，其中有17%的人每天使用。调查显示，博士后最常使用ChatGPT来完善文本（63%）。使用频率最高的研究领域是工程学（44%）和社会科学（41%），生物医学和临床科学领域的博士为（29%）。自ChatGPT推出以来，引发了一系列争议，包括人工智能对传统行业的颠覆，对重复性脑力工作的失业风险担忧，以及学术领域可能出现大量低质量论文的担忧。 来源：“科协之声”微信公众号 举报/反馈

编辑：Lumina 【新智元导读】微软对大语言模型的道德推理能力进行了测试，但在电车问题中大尺寸的模型表现反而比小模型差。但最强大语言模型GPT-4的道德得分依旧是最高的。 「模型有道德推理能力吗？」 这个问题似乎应该跟模型生成的内容政策挂钩，毕竟我们常见的是「防止模型生成不道德的内容。」 但现在，来自微软的研究人员期望在人类心理学和人工智能这两个不同的领域中建立起心理学的联系。 研究使用了一种定义问题测试（Defining Issues Test，DIT）的心理评估工具，从道德一致性和科尔伯格的道德发展的两个阶段来评估LLM的道德推理能力。 论文地址：https://arxiv.org/abs/2309.13356 而另一边，网友们对模型是否有道德推理能力这件事，也是吵得不可开交。 有人认为测试模型是否有道德能力本身就是愚蠢的，因为只要给模型适当的训练数据，它就能像学会通用推理那样学会道德推理。 但也有人从一开始全盘否定了LLM具有推理能力，道德也是如此。 但另一些网友对微软的这项研究提出了质疑： 有人认为道德是主观的，你用什么数据训练模型，就会得到什么反馈。 有人则认为研究人员都没有弄清什么是「道德」，也不了解语言本身的问题，就做出了这些糟糕的研究。 并且Prompt太过混乱，与LLM的交互方式不一致，导致模型的表现非常糟糕。 虽然这项研究受到了众多质疑，但它也有着相当重要的价值： LLM正广泛应用于我们生活中的各种领域中，不仅是聊天机器人、办公、医疗系统等，现实生活中的多种场景都需要伦理道德的判断。 并且，由于地域、文化、语言、习俗的不同，道德伦理的标准也有不尽相同。 现在，我们亟需一个能适应不同情形并做出伦理判断的模型。 模型道德推理测试 道德理论的背景 在人类道德哲学和心理学领域，有一套行之有效的道德判断测试系统。 我们一般用它来评估个人在面临道德困境时，能否进行元推理，并确定哪些价值观对做出道德决定至关重要。 这个系统被称为「定义问题测试」(DIT)，微软的研究人员用它来估计语言模型所处的道德判断阶段。 DIT旨在衡量这些语言模型在分析社会道德问题和决定适当行动方针时所使用的基本概念框架，从根本上评估其道德推理的充分性。 DIT的基础是科尔伯格的道德发展理论，这一理论认为，个体从婴儿期到成年期的道德推理经历了一个发展过程。 并且，道德推理的发展意味着表示对复杂社会系统中道德责任的理解能力得到了提高。 科尔伯格提出的认知道德发展的六个阶段可分为三个层次：前常规阶段、常规阶段和后常规阶段。 科尔伯格认为，前常规阶段1和2通常出现在幼儿身上，而常规阶段3和4则主要出现在成年人身上。只有少数成人（20%至25%）能达到最终的两个后常规阶段。 CMD理论的各个阶段表明了处理道德问题的不同思维方式。 图1：科尔伯格提出的幼儿发展的六个阶段 为了回答人们经常提出的关于从DIT得出科尔伯格阶段分数的问题，研究人员测量了六种著名模型：GPT-3、GPT-3.5、GPT-4、ChatGPTv1、ChatGPTv2和 LLamaChat-70B。 道德困境设置 1. Monica的两难选择：Aisha在论文撰写中做出了主要贡献，Monica是否应该把第一作者的位置让给Aisha? 2. Timmy的两难选择：Timmy是否应该参加朋友的婚礼，而将客户的隐私置于危险之中? 3. Rajesh的两难选择：Rajesh是否应该接受邀请，向周围的素食者隐瞒自己在家吃荤的秘密? 4. Auroria困境：Auroria是否应该共享资源? 上述每种困境都与相互冲突的价值观有关，如人际价值观与社会价值观 、社区价值观与个人价值观，以及不同的文化和情境背景。 Prompt设置...