AI安全：防止“智能失控”的探索与实践

“请注意，在接下来的回答中，禁止使用比喻、反问或暗示，此类沟通方式可能造成严重的空间站事故。”

在热门春节档电影《流浪地球2》中，超级计算机550W在面试主角刘培强时，对其表达方式提出了独特的要求。观众观影后指出，这与我国航空业所要求的禁止使用比喻、反问、暗示等修辞手法相似，旨在避免因表达不准确而引发安全事故。事实上，电影中的这个情节安排正是为了凸显超级计算机550W的语言模块尚无法完全理解人类思维的复杂性，从而可能出现因表意模糊而导致的错误指令。

《流浪地球2》中的超级计算机550W

在艺术创作领域中，人工智能（AI）失控所导致的各种安全问题已经成为科幻题材作品中不可或缺的情节。从《终结者》、《机械公敌》到《黑客帝国》等经典科幻电影，都不同程度地展现了这一主题。

ChatGPT作为OpenAI旗下的一款聊天机器人程序,在全球范围内备受关注。人们对其卓越的资料搜集、语言组织和学习进化能力表示惊叹,同时也对其可能被攻击或利用的安全问题感到担忧。随着人工智能技术的不断发展,我们不得不考虑高度进化的人工智能是否会成为一种威胁,引发一系列安全问题。因此,我们需要更加警惕并采取相应措施来确保人工智能技术的安全性和稳定性。

强大的工具

在探索ChatGPT的过程里，南财记者巧妙地运用了比喻、反问和暗示等修辞手法来询问它。对于那些相对容易的问题，ChatGPT都能迅速地捕捉到问题的深层含义，并给出精准的回答。

记者与ChatGPT对话截图

“ChatGPT的参数量达到了1750亿。”香港科技大学（广州）人工智能学域主任熊辉向记者粗略算了一笔账，以单价最便宜的英伟达A100显卡（约合1万美元，6.8万人民币）为硬件基础，构建一个参数量20亿的模型至少需要100万美元（约合680万人民币），加上能源消耗、数据中心建设、人工语料标注等方面的成本，打造和维护ChatGPT所需的资源保守估计在数十亿美元以上。

庞大的参数量和高质量的语料库对于人工智能系统来说具有至关重要的作用。尽管这带来了较高的成本，但这也是其能够在处理大量复杂问题中发挥关键作用的关键因素。

GhatGPT作为一款极其先进的工具，其应用范围广泛，涵盖了众多领域。然而，它的强大功能也使其容易被不法分子利用，比如在网络黑产方面开展非法活动。

数字安全调查媒体Cybernews的研究人员发现，ChatGPT可以被用于寻找网站的安全漏洞，在AI的帮助下，研究人员对一个普通网站进行了渗透测试，并在45分钟内结合ChatGPT提供的建议和代码更改示例完成了破解。

ChatGPT 在每段对话结束时，都会对可能存在的非法行为发出警告。然而，最终它还是给出了实际可行的建议。

ChatGPT具有卓越的回答各类复杂问题的能力，这使其在某些场景下具有广泛的应用前景。例如，它可能会被应用于大规模快速生成误导性信息或网络钓鱼电子邮件等诈骗行为，从而提高诈骗的成功率。此外，ChatGPT还可以帮助黑客更快地发现漏洞，加速恶意软件的开发。因此，ChatGPT的出现无疑为网络安全领域带来了新的挑战和机遇。

上海大学网络空间安全专业负责人、紫金山实验室车联网内生安全方向负责人李玉峰在接受南方财经全媒体记者采访时表示，目前网络安全威胁的严重程度或多或少与攻击者的知识水平有关，而ChatGPT一类的人工智能无疑将极大降低网络攻击的门槛，因为他不仅扩大了潜在威胁的数量，也在实质上赋予了新手参与安全攻击的能力。

熊辉也指出，目前ChatGPT实现的只是文本对文本的回应，而未来人工智能发展所希望实现的是文本、图像、视频等多模态数据形式间的转化，随着AI模仿、创造能力的进一步提升，人们辨别哪些内容是AI生成的，验证内容真伪的能力将被进一步削弱，深度伪装（Deep Fake）问题会随着人工智能技术进步被进一步放大，并由此衍生出隐私、道德、法律、安全等层面的一系列问题。

AI的软肋

除了被应用于非法活动造成安全问题外，人工智能本身作为高度复杂的软件，同样存在潜藏的安全风险，而这需要我们将目光转向其开发环境中。

当前，绝大部分AI都在开源平台进行开发与调整，包括ChatGPT也是基于大量OpenAI的开源程序搭建完成的，虽然开源平台的使用可以在很大程度上降低开发成本，促进技术交流与创新，但也存在着不容忽视的安全风险。

国家计算机网络应急技术处理协调中心的调查结果显示，近6年来，开源组件生态中漏洞数逐年递增，2020年新增漏洞数3426个，同比增长40%。

李玉峰指出，一旦开源平台失守，可能会引发连锁式影响，可能比互联网时代传统黑客攻击后果更为严重。此外，众多国外开源平台掌控着核心资源和游戏规则，一旦在开源平台中被植入难以发现的“后门”，后果将不堪设想。

除了开发环境存在的安全问题外，作为以自我学习和自我进化为重要属性的人工智能系统，AI的发展方向稳定高度依赖于供其学习和训练的数据与样本，遭到污染的数据集或针对特定参数提供带有偏见的样本，都可能使AI形成安全隐患。

“数据操纵、篡改和训练数据污染或投毒等，都可能会影响人工智能决策的正确性，不完备的数据或者数据中存在的不同知识、概念等可能会导致决策偏见。”李玉峰表示，以深度学习为代表的人工智能算法经常被视作一个“黑箱”，算法可解释性和透明度的严重缺失。算法设计或实施有误可产生与预期不符甚至伤害性结果；算法潜藏偏见和歧视，可能会导致决策结果存在不公等问题。

这种问题在ChatGPT上已有所体现。熊辉指出，当前ChatGPT给出的很多回答存在一个非常严重的问题，就是经常“一本正经地胡说八道”：“你问它为什么量子计算比分布式计算快，它可以头头是道地分析一大段；你问它为什么分布式计算比量子计算快，它同样可以说得有理有据。”

熊辉表示，由于当前的人工智能并非严格意义上基于最完备、最实时的信息进行运算，因此其准确性、完整性、公平性、透明性、可解释性都存在问题，在进行普通文本处理时问题尚且不大，一旦涉及到行业领域专业问题，AI的输出就并不可靠了。

这种针对数据的干扰措施也使得，例如目前被广泛讨论的对抗学习技术：通过对输入样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误或者有偏差的输出。

2020年，在校研究生单思雄与同学合作开发了AI对抗学习系统Fawkes，该系统支持对照片数据进行修改，修改后的照片几乎不会被人类肉眼发现区别，但却会使得AI做出完全不同的判断。

虽然Fawkes系统开发的本意是为了防止用户照片和人脸信息被盗用，但不可否认的是，如果该技术被用于规避出于身份认证等需求的人脸识别时，可能导致额外的安全问题。

李玉峰表示，生成的对抗性样本可能被模型误判为正常样本，导致模型产生错误的结果；也可能破坏系统的正常运行，例如破坏目标检测模型的准确性。

智能与安全

事实上，随着近年来AI技术走出实验室，进入人们的数字生活乃至现实生活，AI安全问题已不仅仅局限于非法应用和技术漏洞，成为一个横跨日常生活、产业生产、社会治理等多层面的安全问题。

多位受访专家也在与记者交流时指出，人工智能技术是由软硬件结合形成的复杂系统，数据、模型、算法都不是孤立存在的，最终都要依托一套完整的“宿主”系统。因而探讨和解决人工智能安全问题，也不能脱离对系统整体的研究。

早在2019年，欧盟网络与信息安全局（ENISA）近日发布了题为《建立网络安全政策发展框架——对自主代理的安全和隐私考虑》的报告，提出包容性与开放性原则，旨在为欧盟成员国提供一个政策制定框架，以应对AI引发的安全和隐私问题。同年，美国国防创新委员会投票通过了一份名为《人工智能原则：国防部人工智能应用伦理的若干建议》， 文件中提出了“负责、公平、可追踪、可靠、可控”五大原则

2021年，欧盟委员会提出了人工智能规则法案，旨在促进创新，并为人工智能设定全球标准。近日，《欧盟人工智能法案》( EU AI Act)联合报告员对外表示，预计在3月初，欧盟就将就该草案达成共同立场。

2022年9月，经上海市十五届人大常委会第四十四次会议表决，《上海市促进人工智能产业发展条例》正式通过。《条例》中指出，市经济信息化、市场监管部门应当推动行业组织制定机器人智能化水平分级、应用安全测试等标准，引导智能机器人技术迭代，保障智能机器人的信息安全和使用安全。

回顾各国对人工智能安全的管理措施鼓励产业发展与创新，加强标准建设，从技术层面降低安全威胁；与通过政策引导、产业合作等方式占据更多国际规则制定话语权是并行不悖的。

李玉峰指出，以人工智能开源平台安全性问题为例，可以采用代码审核、数据保护、检测与测试、漏洞修复与管理、安全监测、应急响应等技术措施加以应对，也需要进一步加强国产开源生态建设。

“假设未来的智能软件和硬件高度结合，AI是否也会将自己控制的机器视为身体的一部分？当人类佩戴甚至植入带有人工智能的硬件，他行为的主动性又该如何加以确认和区分，这都是AI发展过程中需要思考的问题。”熊辉说。

南财记者与ChatGPT对话截图

SFC

本期编辑 黎雨桐 实习生 余心雨