人工智能数据安全 白皮书 中国信息通信研究院 安全研究所 2019年8月 版权声明 本白皮书版权属于中国信息通信研究院 安全研究所，并 受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者 观点的，应注明“来源：中国信息通信研究院 安全研究所”。 违反上述声明者，本单位将追究其相关法律责任。 前 言 人工智能作为引领新一轮科技革命和产业变革的战略性技术，已 成为世界主要国家谋求新一轮国家科技竞争主导权的关键领域。随着 政府人工智能战略布局的落地实施，全球人工智能发展正进入技术创 新迭代持续加速和融合应用拓展深化的新阶段，深刻改变着国家政治、 经济、社会、国防等领域的运行模式，对人类生产生活带来翻天覆地 的变化。 数据作为驱动本轮人工智能浪潮全面兴起的三大基础要素之一， 数据安全风险已成为影响人工智能安全发展的关键因素。与此同时， 人工智能应用也给数据安全带来严峻挑战,如何应对人工智能场景下 的数据安全风险日渐成为国际人工智能治理的重要议题。部分国家已 率先探索人工智能数据安全风险的前瞻研究和主动预防，并积极推动 人工智能在数据安全领域应用，力求实现人工智能与数据安全的良性 互动发展。 本白皮书从人工智能数据安全的内涵出发，首次提出人工智能数 据安全的体系架构，在系统梳理人工智能数据安全风险和安全应用情 况的基础上，总结了国内外人工智能数据安全治理现状，研究提出了 我国人工智能数据安全治理建议。 目 录 一、 人工智能数据安全概述................................. 1 （一） 人工智能安全 ...................................... 1 （二） 人工智能数据安全内涵............................... 2 （三） 人工智能数据安全体系架构........................... 3 二、 人工智能数据安全风险................................. 5 （一） 人工智能自身面临的数据安全风险 ..................... 5 （二） 人工智能应用导致的数据安全风险 ..................... 7 （三） 人工智能应用加剧的数据治理挑战 .................... 11 三、 人工智能数据安全应用................................ 13 （一） 人工智能与数据安全治理............................ 13 （二） 人工智能在数据安全治理中的应用 .................... 15 四、 国内外人工智能数据安全治理动态 ...................... 23 （一） 国内外人工智能数据安全战略规划情况 ................ 24 （二） 国内外人工智能数据安全伦理规范情况 ................ 28 （三） 国内外人工智能数据安全法律制定情况 ................ 30 （四） 国内外人工智能数据安全技术发展情况 ................ 32 （五） 国内外人工智能数据安全标准规范情况 ................ 34 五、 人工智能数据安全治理建议............................ 36 （一） 明晰发展与安全并举的治理思路 ...................... 36 （二） 引导社会遵循人工智能伦理规范 ...................... 37 （三） 建立人工智能数据安全法律法规 ...................... 37 （四） 完善人工智能数据安全监管措施 ...................... 38 （五） 健全人工智能数据安全标准体系 ...................... 39 （六） 创新人工智能数据安全技术手段 ...................... 39 （七） 培养复合人工智能数据安全人才 ...................... 40 人工智能数据安全白皮书（2019 年） 中国信息通信研究院 一、 人工智能数据安全概述 （一） 人工智能安全 当前，由人工智能引领的新一轮科技革命和产业变革方兴未艾， 正在对经济发展、社会进步、国家治理等方面产生重大而深远的影响。 世界主要国家和全球产业界高度重视并积极布局，人工智能迎来新的 发展浪潮。然而，技术进步往往是一把“双刃剑” ，本项目组在《人 工智能安全白皮书（2018 年）》中提出人工智能因其技术的局限性和 应用的广泛性，给网络安全、数据安全、算法安全和信息安全带来风 险，并对国家政治、军事和社会安全带来诸多挑战。与此同时，人工 智能因其突出的数据分析、知识提取、自主学习、智能决策等能力， 可在网络防护、数据管理、信息审查、智能安防、金融风控、舆情监 测等网络信息安全领域和社会公共安全领域有许多创新性应用。为有 效管控人工智能安全风险并积极促进人工智能技术在安全领域应用， 可从法规政策、标准规范、技术手段、安全评估、人才队伍、可控生 态等方面构建人工智能安全管理体系。 图 1 人工智能安全体系架构图 1 人工智能数据安全白皮书（2019 年） 中国信息通信研究院 （二） 人工智能数据安全内涵 1、人工智能与数据 人工智能与数据相辅相成、互促发展。一方面，海量优质数据助 力人工智能发展。现阶段，以深度学习为代表的人工智能算法设计与 优化需要以海量优质数据为驱动。谷歌研究提出，随着训练数据数量 级的增加，相同机器视觉算法模型的性能呈线性上升。牛津大学国际 发展研究中心将大数据质量和可用性作为评价政府人工智能准备指 数的重要考察项1。美国欧亚集团咨询公司将数据数量和质量视为衡 量人工智能发展潜力的重要评价指标2。另一方面，人工智能显著提 升数据收集管理能力和数据挖掘利用水平。人工智能在人们日常生活 和企业生产经营中大规模应用，获取、收集和分析更多用户和企业数 据，促进人工智能语义分析、内容理解、模式识别等方面技术能力进 一步优化，更好地实现对收集的海量数据进行快速分析和分类管理。 而且，人工智能对看似毫不相关的海量数据进行深度挖掘分析，发现 经济社会运行规律、用户心理和行为特征等新知识。基于新知识，人 工智能进一步提升对未来的预测和对现实问题的实时决策能力，提升 数据资源利用价值，优化企业经营决策、创新经济发展方式、完善社 会治理体系。 2、人工智能数据安全 数据安全是人工智能安全的关键。数据成为本轮人工智能浪潮兴 起发展的关键要素。人工智能算法设计与优化需要以海量优质数据资 1 2 《2019 年政府人工智能准备指数》 《中国拥抱 AI》 2 人工智能数据安全白皮书（2019 年） 中国信息通信研究院 源为基础。数据质量和安全直接影响人工智能系统算法模型的准确性， 进而威胁人工智能应用安全。与此同时，人工智能显著提升数据收集 管理能力和数据价值挖掘利用水平。人工智能这些能力一旦被不当或 恶意利用，不仅威胁个人隐私和企业资产安全，甚至影响社会稳定和 国家安全。而且，人工智能、大数据与实体经济不断深度融合，成为 推动数字经济和智能社会发展的关键要素。人工智能大规模应用间接 促使数据权属问题、数据违规跨境等数据治理挑战进一步加剧。 人工智能为数据安全治理带来新机遇。人工智能驱动数据安全治 理加速向自动化、智能化、高效化、精准化方向演进。人工智能自动 学习和自主决策能力可有效缓解现有数据安全技术手段对专业人员 分析判断的高度依赖，实现对动态变化数据安全风险的自动和智能监 测防护。人工智能卓越的海量数据处理能力可有效弥补现有数据安全 技术手段数据处理能力不足的缺陷，实现对大规模数据资产和数据活 动的高效、精准管理和保护。人工智能赋能数据安全治理，助力数据 大规模安全应用，将有力推动经济社会数字化转型升级。 基于以上分析，项目组认为，人工智能数据安全内涵包含：一是 应对人工智能自身面临和应用导致及加剧的数据安全风险与治理挑 战；二是促进人工智能在数据安全领域中的应用；三是构建人工智能 数据安全治理体系，保障人工智能安全稳步发展。 （三） 人工智能数据安全体系架构 3 人工智能数据安全白皮书（2019 年） 中国信息通信研究院 人工智能数据安全风险 面临的数据安全风险 训练数据污染 运行数据异常 精准化数据安全策略制定 数据逆向还原 开源框架风险 自动化数据资产安全管理 导致的数据安全风险 数据过度采集 数据偏见歧视 智能化数据活动安全保护 数据资源滥用 数据智能窃取 数据深度伪造 高效化数据安全事件管理 加剧的数据治理挑战 数据权属问题 数据违规跨境 人工智能数据安全应用 人工智能数据安全治理 国家 战略 伦理 规范 法律 法规 监管 政策 标准 规范 技术 手段 人才 队伍 图 2 人工智能数据安全体系架构图 基于对人工智能数据安全内涵分析，项目组提出覆盖人工智能数 据安全风险、人工智能数据安全应用、人工智能数据安全治理三个维 度的人工智能数据安全体系架构。其中，人工智能数据安全风险是人 工智能数据安全治理的起因, 包含人工智能自身面临的数据安全风 险，人工智能应用导致的数据安全风险，人工智能应用加剧的数据治 理挑战。本白皮书重点分析人工智能相关特有数据安全风险与治理挑 战。人工智能数据安全应用是人工智能技术用于数据安全治理, 包含 人工智能技术在精准化数据安全策略制定、自动化数据资产安全管理、 智能化数据活动安全保护以及高效化数据安全事件管理方面的应用。 人工智能数据安全治理是应对人工智能数据安全风险和促进人工智 4 人工智能数据安全白皮书（2019 年） 中国信息通信研究院 能数据安全应用的体系化方案, 包含国家战略、伦理规范、法律法规、 监管政策、标准规范、技术手段、人才队伍等方面。 二、 人工智能数据安全风险 （一） 人工智能自身面临的数据安全风险 训练数据污染可导致人工智能决策错误。数据投毒通过在训练数 据里加入伪装数据、恶意样本等破坏数据的完整性，进而导致训练的 算法模型决策出现偏差。数据投毒主要有两种攻击方式：一种是采用 模型偏斜方式，主要攻击目标是训练数据样本，通过污染训练数据达 到改变分类器分类边界的目的。例如，模型偏斜污染训练数据可欺骗 分类器将特定的恶意二进制文件标记为良性。另外一种是采用反馈误 导方式，主要攻击目标是人工智能的学习模型本身，利用模型的用户 反馈机制发起攻击，直接向模型“注入”伪装的数据或信息，误导人 工智能做出错误判断。随着人工智能与实体经济深度融合，医