人工智能安全白皮书 （2018 年） 中国信息通信研究院 安全研究所 2018年9月 版 权声 明 本白皮书版权属于中国信息通信研究院（工业和信息化 部电信研究院）安全研究所，并受法律保护。转载、摘编或利用 其它方式使用本白皮书文字或者观点的，应注明“来源：中国 信息通信研究院安全研究所”。违反上述声明者，本单位将追究 其相关法律责任。 前 言 人工智能作为引领未来的战略性技术，日益成为驱动经济社会各 领域从数字化、网络化向智能化加速跃升的重要引擎。近年来，数据 量爆发式增长、计算能力显著性提升、深度学习算法突破性应用，极 大地推动了人工智能发展。自动驾驶、智能服务机器人、智能安防、 智能投顾等人工智能新产品新业态层出不穷，深刻地改变着人类生产 生活，并对人类文明发展和社会进步产生广泛而深远的影响。 然而，技术的进步往往是一把“双刃剑”，人工智能作为一种通 用目的技术，为保障国家网络空间安全、提升人类经济社会风险防控 能力等方面提供了新手段和新途径。但同时，人工智能在技术转化和 应用场景落地过程中，由于技术的不确定性和应用的广泛性，带来冲 击网络安全、社会就业、法律伦理等问题，并对国家政治、经济和社 会安全带来诸多风险和挑战。世界主要国家都将人工智能安全作为人 工智能技术研究和产业化应用的重要组成部分，大力加强对安全风险 的前瞻研究和主动预防，积极推动人工智能在安全领域应用，力图在 新一轮人工智能发展浪潮中占得先机、赢得主动。 本白皮书从人工智能安全内涵出发，首次归纳提出了人工智能安 全体系架构，在系统梳理人工智能安全风险和安全应用情况的基础上， 进一步总结了国内外人工智能安全的管理现状，研究提出了我国人工 智能安全风险应对与未来发展建议。 目 一、 录 人工智能安全内涵与体系架构 ........................ 1 （一） 人工智能基本概念与发展历程 ........................ 1 （二） 人工智能安全内涵.................................. 2 （三） 人工智能安全体系架构 .............................. 3 二、 人工智能安全风险分析 .............................. 6 （一） 网络安全风险...................................... 6 （二） 数据安全风险...................................... 8 （三） 算法安全风险...................................... 9 （四） 信息安全风险..................................... 12 （五） 社会安全风险..................................... 13 （六） 国家安全风险..................................... 15 三、 人工智能安全应用情况 ............................. 16 （一） 网络信息安全应用................................. 17 （二） 社会公共安全应用................................. 20 四、 人工智能安全管理现状 ............................. 23 （一） 主要国家人工智能安全关注重点 ..................... 23 （二） 主要国家人工智能安全法规政策制定情况 ............. 26 （三） 国内外人工智能安全标准规范制定情况 ............... 29 （四） 国内外人工智能安全技术手段建设情况 ............... 31 （五） 国内外人工智能重点应用的安全评估情况 ............. 33 （六） 国内外人工智能人才队伍建设情况 ................... 34 （七） 国内外人工智能产业生态培育情况 ................... 36 五、 人工智能安全发展建议 ............................. 37 （一） 加强自主创新，突破共性关键技术 ................... 37 （二） 完善法律法规，制定伦理道德规范 ................... 38 1 （三） 健全监管体系，引导产业健康发展 ................... 39 （四） 强化标准引领，构建安全评估体系 ................... 40 （五） 促进行业协作，推动技术安全应用 ................... 40 （六） 加大人才培养，提升人员就业技能 ................... 41 （七） 加强国际交流，应对共有安全风险 ................... 42 （八） 加大社会宣传，科学处理安全问题 ................... 43 2 人工智能安全白皮书（2018 年） 中国信息通信研究院 一、 人工智能安全内涵与体系架构 （一） 人工智能基本概念与发展历程 1、人工智能基本概念 计算机之父阿兰·图灵在 1950 年的论文《计算机器与智能》中 提出了“机器智能”以及著名的“图灵测试”：如果有超过 30%的测 试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试， 并被认为具有人类智能。1956 年，在美国达特茅斯会议上，科学家 麦卡锡首次提出“人工智能”：人工智能就是要让机器的行为看起来 更像人所表现出的智能行为一样。在人工智能概念提出时，科学家主 要确定了智能的判别标准和研究目标，而没有回答智能的具体内涵。 之后，包括美国的温斯顿1、尼尔逊2和中国的钟义信3等知名学者都对 人工智能内涵提出了各自见解，反映人工智能的基本思想和基本内容： 研究如何应用计算机模拟人类智能行为的基本理论、方法和技术。但 是，由于人工智能概念不断演进，目前未形成统一定义。结合业界专 家观点，项目组研究认为，人工智能是利用人为制造来实现智能机器 或者机器上的智能系统，模拟、延伸和扩展人类智能，感知环境，获 取知识并使用知识获得最佳结果的理论、方法和技术。 2、人工智能发展历程 人工智能发展经历多次低谷，本轮发展呈现加速态势。人工智能 自 1956 年诞生至今已有六十多年的历史，在其发展过程中，形成了 符号主义、连接主义、行为主义等多个学派，取得了一些里程碑式研 1 人工智能是计算机科学的一个领域，它主要解决如何使计算机感知、推理和行为等问题。 人工智能是关于知识的学科――怎样表示知识以及怎样获得知识并使用知识的科学。 3 人工智能是人类智慧的部分模拟。 1 2 人工智能安全白皮书（2018 年） 中国信息通信研究院 究成果。但是，受到各个阶段科学认知水平和信息处理能力限制，人 工智能发展经历了多轮潮起潮落，曾多次陷入低谷。进入新世纪以来， 随着云计算和大数据技术的发展，为人工智能提供了超强算力和海量 数据，另外，以 2006 年深度学习模型的提出为标志，人工智能核心 算法取得重大突破并不断优化，与此同时，移动互联网、物联网的发 展为人工智能技术落地提供了丰富应用场景。算力、算法、数据和应 用场景的共同作用，激发了新一轮人工智能发展浪潮，人工智能技术 与产业发展呈现加速态势。 当前人工智能仍处于弱人工智能阶段，主要是面向特定领域的专 用智能。从整体发展阶段看，人工智能可划分为弱人工智能、强人工 智能和超人工智能三个阶段。弱人工智能擅长于在特定领域、有限规 则内模拟和延伸人的智能；强人工智能具有意识、自我和创新思维， 能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学 习和从经验中学习等人类级别智能的工作；超人工智能是在所有领域 都大幅超越人类智能的机器智能。虽然人工智能经历了多轮发展，但 仍处于弱人工智能阶段，只是处理特定领域问题的专用智能。对于何 时能达到甚至是否能达到强人工智能，业界尚未形成共识。 （二） 人工智能安全内涵 由于人工智能可以模拟人类智能，实现对人脑的替代，因此，在 每一轮人工智能发展浪潮中，尤其是技术兴起时，人们都非常关注人 工智能的安全问题和伦理影响。从 1942 年阿西莫夫提出“机器人三 大定律”到 2017 年霍金、马斯克参与发布的“阿西洛马人工智能 23 2 人工智能安全白皮书（2018 年） 中国信息通信研究院 原则”，如何促使人工智能更加安全和道德一直是人类长期思考和不 断深化的命题。当前，随着人工智能技术快速发展和产业爆发，人工 智能安全越发受到关注。一方面，现阶段人工智能技术不成熟性导致 安全风险，包括算法不可解释性、数据强依赖性等技术局限性问题， 以及人为恶意应用，可能给网络空间与国家社会带来安全风险；另一 方面，人工智能技术可应用于网络安全与公共安全领域，感知、预测、 预警信息基础设施和社会经济运行的重大态势，主动决策反应，提升 网络防护能力与社会治理能力。 基于以上分析，项目组认为，人工智能安全内涵包含：一是降低 人工智能不成熟性以及恶意应用给网络空间和国家社会带来的安全 风险；二是推动人工智能在网络安全和公共安全领域深度应用；三是 构建人工智能安全管理体系，保障人工智能安全稳步发展。 （三） 人工智能安全体系架构 基于对人工智能安全内涵的理解，项目组提出覆盖安全风险、安 全应用、安全管理三个维度的人工智能安全体系架构。架构中三个维 度彼此独立又相互依存。其中，安全风险是人工智能技术与产业对网 络空间安全与国家社会安全造成的负面影响；安全应用则是探讨人工 智能技术在网络信息安全领域和社会公共安全领域中的具体应用方 向；安全管理从有效管控人工智能安全风险和积极促进人工智能技术 在安全领域应用的角度，构建人工智能安全管理体系。 3 人工智能安全白皮书（2018 年） 中国信息通信研究院 图 1 人工智能安全体系架构图 1、人工智能安全风险 人工智能作为战略性与变革性信息技术，给网络空间安全增加了 新的不确定性，人工智能网络空间安全风险包括：网络安全风险、数 据安全风险、算法安全风险和信息安全风险。 网络安全风险涉及网络设施和学习框架的漏洞、后门安全问题， 以及人工智能技术恶意应用导致的系统网络安全风险。 数据安全风险包括人工智能系统中的训练数据偏差、非授权篡改 以及人工智能引发的隐私数据泄露等安全风险。 算法安全风险对应技术层中算法设计、决策相关的安全问题，涉 及算法黑箱、算法模型缺陷等安全风险。 信息安全风险主要