大 数 据 白 皮 书 （2019年） 中国信息通信研究院 2019年12月 版权声明 本白皮书版权属于中国信息通信研究院，并受法律保 护。转载、摘编或利用其它方式使用本白皮书文字或者观 点的，应注明“来源：中国信息通信研究院”。违反上述 声明者，本院将追究其相关法律责任。 前 言 当前，全球大数据正进入加速发展时期，技术产业与应用创新不 断迈向新高度。大数据通过数字化丰富要素供给，通过网络化扩大组 织边界，通过智能化提升产出效能，不仅是推进网络强国建设的重要 领域，更是新时代加快实体经济质量变革、效率变革、动力变革的战 略依托。 本白皮书是继《大数据白皮书（2014 年）》、《大数据白皮书 （2016 年）》、《大数据白皮书（2018 年）》之后中国信通院第四 次发布大数据白皮书。本白皮书在前三版的基础上，聚焦一年多来大 数据各领域的进展和趋势，梳理主要问题并进行展望。在技术方面， 重点探讨了近两年最新的大数据技术及其融合发展趋势；在产业方面， 重点讨论了我国大数据产品的发展情况；在数据资产管理方面，介绍 了行业数据资产管理、数据资产管理工具的最新发展情况，并着重探 讨了数据资产化的关键问题；在安全方面，从多种角度分析了大数据 面临的安全问题和技术工具。希望本白皮书的分析可以对政府和行业 提供参考。 目 录 一、国际大数据发展概述.............................................. 1 （一）大数据战略持续拓展 ....................................... 1 （二）大数据底层技术逐步成熟 ................................... 2 （三）大数据产业规模平稳增长 ................................... 3 （四）大数据企业加速整合 ....................................... 5 （五）数据合规要求日益严格 ..................................... 6 二、融合成为大数据技术发展的重要特征................................ 8 （一）算力融合：多样性算力提升整体效率 ......................... 8 （二）流批融合：平衡计算性价比的最优解 ......................... 9 （三）TA 融合：混合事务/分析支撑即时决策 ...................... 10 （四）模块融合：一站式数据能力复用平台 ........................ 11 （五）云数融合：云化趋势降低技术使用门槛 ...................... 11 （六）数智融合：数据与智能多方位深度整合 ...................... 12 三、大数据产业蓬勃发展............................................. 14 （一）大数据产业发展政策环境日益完善 .......................... 14 （二）各地大数据主管机构陆续成立 .............................. 17 （三）大数据技术产品水平持续提升 .............................. 20 （四）大数据行业应用不断深化 .................................. 22 四、数据资产化步伐稳步推进......................................... 25 （一）数据：从资源到资产 ...................................... 25 （二）数据资产管理理论体系仍在发展 ............................ 26 （三）各行业积极实践数据资产管理 .............................. 27 （四）数据资产管理工具百花齐放 ................................ 29 （五）数据资产化面临诸多挑战 .................................. 31 五、数据安全合规要求不断提升....................................... 35 （一）数据相关法律监管日趋严格规范 ............................ 35 （二）数据安全技术助力大数据合规要求落地 ...................... 36 （三）数据安全标准规范体系不断完善 ............................ 39 六、大数据发展展望................................................. 41 图 表 目 录 图 1 全球每年产生数据量估算图...................................... 1 图 2 2016-2020 年全球大数据市场收入规模预测 ........................ 4 图 3 2016-2020 年全球大数据细分市场收入规模预测 .................... 5 图 4 国家大数据战略的布局历程..................................... 14 表 1 全国 31 省级行政单位代表性大数据产业政策...................... 16 表 2 省级大数据主管机构........................................... 18 表 3 数据管理框架对比............................................. 26 表 4 数据价值的影响因素........................................... 32 表 5 我国大数据相关立法........................................... 35 表 6 2019 年数据安全相关立法进程 .................................. 36 表 7 主要隐私数据保护技术对比..................................... 38 大数据白皮书（2019 年） 一、国际大数据发展概述 近年来，全球大数据的发展仍处于活跃阶段。根据国际权威机构 Statista 的统计和预测，全球数据量在 2019 年有望达到 41ZB1。 数据来源：IDC、Seagate、Statista estimates 图1 全球每年产生数据量估算图 2019 年以来，全球大数据技术、产业、应用等多方面的发展呈 现了新的趋势，也正在进入新的阶段。本章将对国外大数据战略、技 术、产业等领域的最新进展进行简要叙述。 （一）大数据战略持续拓展 相对于几年前，2019 年国外大数据发展在政策方面略显平淡， 只有美国的《联邦数据战略第一年度行动计划（Federal Data Strategy Year-1 Action Plan）》草案比较受到关注。 2019 年 6 月 5 日，美国发布了《联邦数据战略第一年度行动计 划》草案，这个草案包含了每个机构开展工作的具体可交付成果，以 1 ZB，即十万亿亿字节，相当于 240GB 1 大数据白皮书（2019 年） 及由多个机构共同协作推动的政府行动，旨在编纂联邦机构如何利用 计划、统计和任务支持数据作为战略资产来发展经济、提高联邦政府 的效率、促进监督和提高透明度2。 相对于三年前颁布的《联邦大数据研发战略计划》，美国对于数 据的重视程度继续提升，并出现了聚焦点从“技术”到“资产”的转变， 其中更是着重提到了金融数据和地理信息数据的标准统一问题。此外， 配套文件中“共享行动：政府范围内的数据服务”成为亮点，针对数据 跨机构协同与共享，从执行机构到时间节点都进行了战略部署。 早些时候，欧洲议会通过了一项决议，敦促欧盟及其成员国创造 一个“繁荣的数据驱动经济”。该决议预计，到 2020 年，欧盟国内生 产总值将因更好的数据使用而增加 1.9%。但遗憾的是，据统计目前 只有 1.7%的公司充分利用了先进的数字技术。 拓宽和深入大数据技术应用是各国数据战略的共识之处。据了解， 美国 2020 年人口普查有望采用差分隐私等大数据隐私保护技术来提 高对个人信息的保护。英国政府统计部门正在探索利用交通数据，通 过大数据分析及时跟踪英国经济走势，提供预警服务，帮助政府进行 精准决策。 （二）大数据底层技术逐步成熟 近年来，大数据底层技术发展呈现出逐步成熟的态势。在大数据 发展的初期，技术方案主要聚焦于解决数据“大”的问题，Apache Hadoop 定义了最基础的分布式批处理架构，打破了传统数据库一体 2 可参考 https://www.secrss.com/articles/11352 2 大数据白皮书（2019 年） 化的模式，将计算与存储分离，聚焦于解决海量数据的低成本存储与 规模化处理。Hadoop 凭借其友好的技术生态和扩展性优势，一度对 传统大规模并行处理（massively parallel processor, MPP）数据库的市 场造成影响。但当前 MPP 在扩展性方面不断突破（2019 年中国信通 院大数据产品能力评测中 MPP 大规模测试集群规模已突破 512 节点） ， 使得 MPP 在海量数据处理领域又重新获得了一席之位。 MapReduce 暴露的处理效率问题以及 Hadoop 体系庞大复杂的运 维操作，推动计算框架不断进行着升级演进。随后出现的 Apache Spark 已逐步成为计算框架的事实标准。在解决了数据“大”的问题后， 数据分析时效性的需求愈发突出，Apache Flink、Kafka Streams、Spark Structured Streaming 等近年来备受关注的产品为流处理的基础框架打 下了基础。 在此基础上，大数据技术产品不断分层细化，在开源社区形成了 丰富的技术栈，覆盖存储、计算、分析、集成、管理、运维等各个方 面。据统计，目前大数据相关开源项目已达上百个。 （三）大数据产业规模平稳增长 国际权威机构 Statista 在 2019 年 8 月发布的报告显示，预计到 2020 年，全球大数据市场的收入规模将达到 560 亿美元，较 2018 年 的预期水平