No.202201 AI 框架发展白皮书 （2022 年） 中国信息通信研究院 2022年2月 版权声明 本白皮书版权属于中国信息通信研究院，并受法律保 护。转载、摘编或利用其它方式使用本白皮书文字或者观 点的，应注明“来源：中国信息通信研究院”。违反上述 声明者，本院将追究其相关法律责任。 前 言 AI 助力当前经济社会步入智能经济时代。世界正在进入以新一 代信息技术驱动发展的重塑时期，人工智能（AI，Artificial Intelligence） 作为其中重要的使能技术，对激活实体经济具有溢出带动性很强的 “头雁效应”，对构筑国家科技影响力具有举足轻重的意义。人工智能 成为了全球各国新的科技热点，人工智能基础设施建设也成为重要抓 手与着力点。未来十年是全球发展数字经济、迈入智能经济社会的黄 金发展期，着力发展人工智能基础设施，将为我国人工智能产业发展 壮大、数字经济蓬勃发展提供强大牵引力。 AI 框架是智能经济时代的操作系统。作为人工智能开发环节中 的基础工具，AI 框架承担着 AI 技术生态中操作系统的角色，是 AI 学术创新与产业商业化的重要载体，助力人工智能由理论走入实践， 快速进入了场景化应用时代，也是发展人工智能所必需的基础设施之 一。随着重要性的不断凸显，AI 框架已经成为了人工智能产业创新 的焦点之一，引起了学术界、产业界的重视。 在此背景下，白皮书致力于厘清 AI 框架的概念内涵、演进历程、 技术体系与作用意义，通过梳理总结当前 AI 框架发展现状，研判 AI 框架技术发展趋势，并对 AI 框架发展提出展望与路径建议。由于 AI 框架仍处于快速发展阶段，我们对 AI 框架的认识还有待持续深化， 白皮书中存在的不足之处，欢迎大家批评指正。 目 录 一、 AI 框架技术持续演进，已形成较为完整的体系 ............................................ 1 (一) AI 框架演进步入深化阶段 ........................................................................ 1 (二) AI 框架技术演化出三个层次 .................................................................... 5 (三) AI 框架重要性愈加突显 .......................................................................... 13 二、 全球 AI 框架繁荣发展，多元化竞合态势渐显 ............................................. 14 (一) 供给主体方面，企校贡献最活跃 .......................................................... 14 (二) 开源生态方面，全球进入活跃期 .......................................................... 16 (三) 市场格局方面，双寡头持续引领 .......................................................... 18 (四) 支撑应用方面，科研与产业齐驱 .......................................................... 20 (五) 推广途径方面，三条路齐发并进 .......................................................... 25 三、 应对未来多样化挑战，AI 框架有六大技术趋势 .......................................... 27 (一) 泛开发：AI 框架将注重前端便捷性与后端高效性的统一 ................. 27 (二) 全场景：AI 框架将支持端边云全场景跨平台设备部署 ..................... 28 (三) 超大规模：AI 框架将着力强化对超大规模 AI 的支持 ....................... 29 (四) 科学计算：AI 框架将进一步与科学计算深度融合交叉 ..................... 31 (五) 安全可信：AI 框架将助力提升 AI 模型可解释性与鲁棒性 ............... 32 (六) 工程化：AI 框架将加速 AI 应用产业规模级工程化落地 ................... 34 四、 AI 框架生态远未成熟，未来发展空间可观 .................................................. 36 (一) 从硬件适配向算子接口标准化演进 ...................................................... 36 (二) 强化开源社区打造与开源氛围营造 ...................................................... 36 (三) 重视与高校科研院所广泛开放合作 ...................................................... 37 (四) 推进融入 AI 基础设施布局落地 ............................................................ 37 (五) 支持深度赋能大模型及科学计算 .......................................................... 38 图 目 录 图 1 AI 框架技术演进 ................................................................................................ 2 图 2 AI 框架核心技术体系 ........................................................................................ 5 表 目 录 表 1 Github 社区中主流 AI 框架情况（2022.1）.................................................. 16 表 2 Gitee 社区中主流 AI 框架情况（2022.1） .................................................... 18 AI 框架发展白皮书（2022 年） 一、AI 框架技术持续演进，已形成较为完整的体系 AI 框架是 AI 算法模型设计、训练和验证的一套标准接口、特 性库和工具包，集成了算法的封装、数据的调用以及计算资源的使 用，同时面向开发者提供了开发界面和高效的执行平台，是现阶段 AI 算法开发的必备工具。当前，人工智能基础性算法理论研究创新 日益活跃，深度神经网络日趋成熟，各大厂商纷纷投入到深度神经 网络算法的工程实现并发力建设算法模型工具，进一步将其封装为 软件框架供开发者使用，这个过程中 AI 框架（业界也称 AI 开发框 架、深度学习框架等）应运而生。AI 框架负责给开发者提供构建神 经网络模型的数学操作，把复杂的数学表达转换成计算机可识别的 计算图，自动对神经网络进行训练，得到一个神经网络模型用于解 决机器学习中分类、回归的问题，实现目标分类、语音识别等应用 场景。 (一) AI 框架演进步入深化阶段 结合人工智能的发展历程和 AI 框架的技术特性来看，AI 框架 的发展大致可以分为四个阶段，分别为萌芽阶段（2000 年初期）、 成长阶段（2012~2014 年）、稳定阶段（2015 年~2019 年）、深化 阶段（2020 年以后）。其发展脉络与人工智能，特别是神经网络技 术的异峰突起有非常紧密的联系。 1 中国 AI 框架发展白皮书（2022 年） 来源：中国信息通信研究院 图 1 AI 框架技术演进 萌芽阶段：受限于计算能力不足，这一阶段的神经网络技术影 响力相对有限，因而出现了一些传统的机器学习工具来提供基本支 持，也就是 AI 框架的雏形，但这些工具或者不是专门为神经网络 模型开发定制的，或者 API 极其复杂对开发者并不友好，且这些工 具并没有对 GPU 算力进行支持。这一阶段的 AI 框架并不完善，开 发者不得不进行大量基础的工作，例如手写反向传播、搭建网络结 构、自行设计优化器等。 成长阶段：2012 年，Alex Krizhevsky 等人提出了一种深度神经 网络架构，即著名的 AlexNet，在 ImageNet 数据集上达到了最佳精 度，并碾压第二名，引爆了深度神经网络的热潮。自此极大地推动 了 AI 框架的发展，出现了 Caffe、Chainer 和 Theano 等具有代表性 的早期 AI 框架，帮助开发者方便地建立复杂的深度神经网络模型， 如 CNN、RNN、LSTM 等。不仅如此，这些框架还支持多 GPU 训 2 AI 框架发展白皮书（2022 年） 练，让开展更大、更深的模型训练成为可能。在这一阶段，AI 框架 体系已经初步形成，声明式风格和命令式风格为之后的 AI 框架趟 出了两条不同的发展道路。 稳定阶段：2015 年，何恺明等人提出的 ResNet，再次突破了图 像分类的边界，在 ImageNet 数据集上的准确率再创新高，也终于凝 聚了产业界和学界的共识，那就是深度学习将成为下一个重大技术 趋势。在这一到两年里，Google 开源了著名的 TensorFlow 框架， 它至今仍是机器学习领域最流行的 AI 框架。Caffe 的发明者加入了 Facebook（现更名为 Meta）并发布了 Caffe2；与此同时，Facebook AI 研究团队也发布了另一个流行的框架 PyTorch，该框架拓展自 Torch 框架，但使用了更流行的 Python API。微软研究院开发了 CNTK 框架。Amazon 采用了 MXNet，这是华盛顿大学、CMU 和其 他机构的联合学术项目。国内的百度则率先布局了 PaddlePaddle 飞 桨深度学习框架并于 2016 年发布。 TensorFlow 和 CNTK 借鉴了 Theano 的声明式编程风格，而 PyTorch 则继承了 Torch 的直观和开发者友好的命令式编程风格。 F