人工智能安全标准化白皮书 （2023版） 全国信息安全标准化技术委员会 大数据安全标准特别工作组 2023年5月 人工智能安全标准化白皮书 （2023版） 全国信息安全标准化技术委员会 大数据安全标准特别工作组 2023年5月 引 言 人工智能是人类科学技术发展的重要成果，是信息时代向前演进的关键 动力。运用好、发展好、治理好人工智能，让人工智能持续、安全地造福人类社 会，已经成为世界各国的基本共识。 党的十八大以来，在习近平新时代中国特色社会主义思想指引下，我国人 工智能保持了安全、有序、快速的发展进程，在政治、军事、医疗、工业、经济等 领域作用日益关键，已逐渐成为国家和社会的技术支柱。 当前，人工智能发展再一次迈入关键时期，以生成式人工智能为代表的新 技术、新应用不断打破人们对于人工智能的固有认知，也带来了大量网络意识 形态安全、数据安全、个人信息安全等方面新风险、新挑战，化解安全风险、统 筹发展和安全成为重大难题。 贯彻总体国家安全观，全国信息安全标准化技术委员会大数据安全标准 特别工作组坚持发挥标准化工作基础性、规范性作用，开展了一系列人工智能 安全标准化工作，为推动人工智能发展贡献力量。 面对人工智能安全新形势，为全面介绍人工智能安全标准化工作进展情 况，分享相关工作经验，在《人工智能安全标准化白皮书（2019版）》等前期研 究成果基础上，特发布本白皮书。 -I- 人工智能安全标准化白皮书（2023版） 编写单位 中国电子技术标准化研究院 复旦大学 浙江大学 西安交通大学 清华大学 上海商汤智能科技有限公司 中国科学院信息工程研究所 腾讯云计算（北京）有限责任公司 北京计算机技术及应用研究所 华为技术有限公司 阿里巴巴（北京）软件服务有限公司 蚂蚁科技集团股份有限公司 公安部第三研究所 中国科学院自动化研究所 上海燧原科技有限公司 北京百度网讯科技有限公司 国际商业机器（中国）有限公司 北京天融信网络安全技术有限公司 中电长城网际系统应用有限公司 OPPO广东移动通信有限公司 - II - 人工智能安全标准化白皮书（2023版） 编写人员 姚相振 上官晓丽 王建民 郝春亮 许晓耕 任 奎 杨 珉 沈 蕊 超 胡 影 金 涛 王 姣 秦 湛 张世天 王 张晓寒 蔺琛皓 王秉政 蒋 慧 陈 恺 梅敬青 彭骏涛 李 实 王志波 徐 浩 张雨桐 李 前 程海旭 王 龑 张堃博 孟国柱 王小璞 张妍婷 张宇光 张 刘 刘 郭 敏 周晨炜 薛 刘继顺 刘海涛 楠 科 骁 炎 贾依真 版权声明：如需转载或引用，请注明出处。 - III - 目录 CONTENTS 一、人工智能发展现状……………………………………………………… 1 （一）人工智能技术特点 ……………………………………………… 1 （二）人工智能应用趋势 ……………………………………………… 2 （三）人工智能安全属性 ……………………………………………… 3 二、人工智能安全风险分析………………………………………………… 5 （一）用户数据用于训练，放大隐私信息泄露风险 ………………… 5 （二）算法模型日趋复杂，可解释性目标难实现 ………………… 5 （三）可靠性问题仍然制约人工智能关键领域应用 ………………… 6 （四）滥用误用人工智能，扰乱生产生活安全秩序 ………………… 6 （五）模型和数据成为核心资产，安全保护难度提升 ……………… 6 （六）网络意识形态安全面临新风险 ………………………………… 7 三、人工智能安全政策与标准现状………………………………………… 8 （一）国内外人工智能安全战略与政策法规 ………………………… 8 （二）国内外人工智能安全标准 ……………………………………… 11 四、人工智能安全标准需求分析…………………………………………… 15 （一）人工智能安全属性定义和度量指标 …………………………… 15 （二）用户输入数据安全保护相关规范 ……………………………… 15 （三）人工智能服务网络安全防护相关指南 ………………………… 15 （四）人工智能安全评估相关规范 …………………………………… 16 （五）生成式人工智能安全标准 ……………………………………… 16 - IV - 目录 CONTENTS 五、人工智能安全标准化工作建议………………………………………… 17 （一）持续完善人工智能安全标准体系 ……………………………… 17 （二）大力开展基础共性安全标准研究 ……………………………… 17 （三）加快出台产业发展急需安全标准 ……………………………… 17 附录A：标准列表 …………………………………………………………… 19 A.1 国内人工智能安全相关标准列表 ………………………………… 19 A.2 国外人工智能安全相关标准列表 ………………………………… 22 -V- 一、人工智能发展现状 一、人工智能发展现状 过去十余年，依托全球数据、算法、算力持续突破，人工智能全面走 向应用，已成为社会生产生活的支柱性技术。2020年后，当自动驾驶、人 脸识别等热门应用发展逐渐放缓、社会对人工智能整体发展预期日益冷静 时，大模型技术潜力的释放以最振聋发聩的方式宣告了人工智能第三次高 速发展期远未结束，当前正是攀登发展高峰的关键时期。 另一方面，当人工智能可以通过人类最严格的考试、同时执行多种工 作命令、具备一定的推理规划能力、生成以假乱真的照片、模仿人类与人 聊天不被发现时，其安全问题也更为复杂棘手，传统安全考虑以及管理方 法需要重新审视。在此背景下，人工智能是否安全、如何保障安全成为全 球焦点，统筹安全与发展是其中关键。 （一）人工智能技术特点 技术发展方面，随着谓词推理、专家系统、知识树和向量机学习等传 统技术的发展日趋放缓，促使以联结主义和概率统计等理论为基础的深度 学习加速发展，迈入了以人工神经网络为基础、以大模型为典型应用的新 发展阶段。 在模型方面，大规模人工智能模型逐步成为业界主流。以生成式人 工智能为例，具备数百亿参数的模型已非罕见，并随着模型规模增长产生 了接近人类的“高级”能力，使人们相信通用人工智能或将到来。Stable Diffusion、Midjourney等视觉生成模型具有类似人类的视觉创作能力， ChatGPT等文本生成模型具有高度近似人类的语言推理和规划等能力。有 研究认为，这些能力是随着模型参数达到数百亿级别后逐渐产生的，虽其 -1- 人工智能安全标准化白皮书（2023版） 技术原理尚未明晰，但进一步推动了模型越来越大的技术趋势。 在训练方面，有人类参与的指令微调技术是近年来人工智能的另一 大技术特点。指令微调主要有三种实现形式，以预训练语言模型为例：一 是引入人工撰写的大量对话数据对模型进行微调训练；二是人工对微调后 模型面向同一提示词生成的多个备选答案进行价值排序，训练价值评分模 型；三是在价值评分模型的奖励信号下，微调模型进行强化学习训练，不 断改进模型的表现。通过该部分技术，可将在海量语料库上训练的模型与 复杂的人类价值观实现对齐，期望人工智能可以生成正确、有用、无害的 内容。 （二）人工智能应用趋势 应用发展方面，人工智能进一步与社会各方面融合。跨领域、面向通 用的人工智能应用持续发展，各领域处理独立任务的人工智能应用更加深 度嵌入产业生态。未来，预期形成以通用人工智能应用为基座，专用人工 智能应用环绕的新人工智能“生态圈”。 1、人工智能与实体经济融合发展 近年来，人工智能与实体经济融合愈发深入，融合形式愈发多样，对 产业促进作用明显，推动新型业态逐步形成。 当前，人工智能在多个行业领域广泛应用，在制造领域的运营管理优 化、制造过程优化等环节，智能家居领域的身份鉴别、功能控制、安全防 护等环节，智能交通领域的动态感知、自动驾驶、车路协同等方面，智能 医疗领域的辅助诊断、治疗监护、疫情防控等方面，教育领域的虚拟实验 室、虚拟教室、课件制作、智能判卷、教学效果分析等方面，金融领域的 金融风险控制等方面，都推动了相关产品服务的新一轮变革。 -2- 一、人工智能发展现状 2、人工智能作为助手融入新领域 人工智能的发展不仅颠覆了数字内容生产方式、处理方式和消费模 式，而且极大丰富了人们的数字生活，虚拟试装增加购物体验、虚拟主播 增强广告效果、智能客服提升反馈效率、虚拟教师增强师生交互、智能办 公助手提高各类文档的撰写效率、智能编程助手降低编程时间与人力成 本、智能翻译降低沟通壁垒，人工智能应用已成为人类生产生活中必不可 少的电子助手。 （三）人工智能安全属性 伴随着人工智能应用的常态化，人工智能安全问题的研讨也持续开 展。除了网络安全基本属性，即人工智能系统及其相关数据的机密性、完 整性、可用性以及系统对恶意攻击的抵御能力之外，讨论人工智能安全一 般还需要考虑以下属性。 1、可靠性：指人工智能及其所在系统在承受不利环境或意外变化 时，例如数据变化、噪声、干扰等因素，仍能按照既定的目标运行、保持 结果有效的特性。可靠性通常需要综合考虑系统的容错性、恢复性、健壮 性等多个方面。 2、透明性：指人工智能在设计、训练、测试、部署过程中保持可 见、可控的特性，只有具备了透明性，用户才能够在必要时获取模型有关 信息，包括模型结构、参数、输入输出等，方可进一步实现人工智能开发 过程的可审计以及可追溯。 3、可解释性：描述了人工智能算法模型可被人理解其运行逻辑的特 性。具备可解释性的人工智能，其计算过程中使用的数据、算法、参数和 逻辑等对输出结果的影响能够被人类理解，使人工智能更易于被人类管 控、更容易被社会接受。 -3- 人工智能安全标准化白皮书（2023版） 4、公平性：指人工智能模型在进行决策时，不偏向某个特定的个体 或群体，也不歧视某个特定的个体或群体，平等对待不同性别、不同种 族、不同文化背景的人群，保证处理结果的公正、中立，不引入偏见和歧 视因素。 5、隐私性：指人工智能在开发与运行的过程中实现了保护隐私的特 性，包括对个人信息和个人隐私的保护、对商业秘密的保护等。隐私性旨 在保障个人和组织的合法隐私权益，常见的隐私增强方案包括最小化数据 处理范围、个人信息匿名化处理、数据加密和访问控制等。 -4- 二、人工智能安全风险分析 一、人工智能发展现状 二、人工智能安全风险分析 近年来，人工智能保持快速发展势头，但人工智能所带来的安全风险 也不容忽视。 （一）用户数据用于训练，放大隐私信息泄露风险 当前，人工智能利用服务过程中的用户数据进行优化训练的情况较为 普遍，但可能涉及在用户不知