深度学习技术选型白皮书 （2018 年） 中国人工智能产业发展联盟 2018 年 10 月 版 权声 明 本白皮书版权属于中国人工智能产业发展联盟，并受法 律保护。转载、摘编或利用其它方式使用本白皮书文字或者 观点的，应注明“来源：中国人工智能产业发展联盟”。违 反上述声明者，编者将追究其相关法律责任。 1 前 言 人工智能是一种引发诸多领域产生颠覆性变革的前沿技术，当前 以机器学习，特别是深度学习为核心，在视觉、语音、自然语言等应 用领域迅速发展，已经开始像水电煤一样赋能于各个行业。 深度学习软件框架及相关工具集是人工智能应用落地的重要抓 手，是人工智能相关服务及产品的核心。本白皮书专注于以深度学习 为核心的软件框架及工具，以实际需求为指引，提出深度学习技术选 型考虑及指标，旨在为企业应用深度学习技术开展业务提供参考，同 时为以开源框架为技术核心的服务及产品选型评测提供依据。 深度学习技术选型白皮书是中国人工智能产业发展联盟开源开 放推进组的研究成果。本白皮书从深度学习训练框架、推断框架及技 术生态工具集三个维度系统梳理总结了基于开源的深度学习技术体 系，结合企业自身业务开展需求，分析了技术选型因素，提出了选型 指标体系，并就软件框架目前存在的问题及技术发展趋势进行了研判。 中国人工智能产业发展联盟后续将在此研究基础上继续深入开展相 关研究及评估标准制定工作，并继续发布相关研究成果。 2 目 目 录 录 ....................................................................................................................................... 1 一、 深度学习软件框架发展概述 .................................................................................... 3 （一） 深度学习框架是人工智能产业化落地的核心 ................................................ 3 （二） 深度学习框架的分类 ........................................................................................ 4 二、 深度学习训练框架技术选型 .................................................................................... 5 （一） 深度学习训练框架应用现状 ............................................................................ 5 1. 深度学习训练框架使用趋同 .................................................................................... 5 2. 产业对训练框架提出新需求 .................................................................................... 9 （二） 训练框架选型考虑 .......................................................................................... 10 （三） 产业优秀使用案例 .......................................................................................... 14 1. 基于 TensorFlow 构建大规模应用系统 ................................................................. 14 2. 基于 Keras 简洁高效实现智能化运维 ................................................................... 17 3. 基于 PaddlePaddle 实现多种业务部署 .................................................................. 17 4. 基于 Caffe 满足目标检测实际业务需求 ............................................................... 18 三、 深度学习推断框架技术选型 .................................................................................. 19 （一） 深度学习推断框架应用现状 .......................................................................... 19 1. 推断框架体系呈现碎片化 ...................................................................................... 19 2. 推断框架滞后于实际需求 ...................................................................................... 21 （二） 推断框架选型考虑 .......................................................................................... 22 （三） 产业优秀使用案例 .......................................................................................... 24 1. 面向移动终端的 HiAI 计算平台 ............................................................................. 25 2. 面向工业的轴承故障推断应用 .............................................................................. 25 3. 企业研发助力推断框架性能显著提升 .................................................................. 26 四、 深度学习技术生态工具集 ...................................................................................... 26 1. 深度学习编译中间件 .............................................................................................. 27 2. 数据及模型表示格式 .............................................................................................. 28 3. 深度学习可视化工具 .............................................................................................. 28 4. 标准模型算法资源库 .............................................................................................. 29 1 5. 模型压缩优化工具集 .............................................................................................. 29 五、 趋势展望 .................................................................................................................. 29 六、 合作机构 .................................................................................................................. 32 2 中国人工智能产业发展联盟 深度学习技术选型白皮书（2018 年） 一、 深度学习软件框架发展概述 （一） 深度学习框架是人工智能产业化落地的核心 当前，基于深度学习的人工智能算法主要依托计算机技术体系架 构实现，深度学习算法通过封装至软件框架1的方式供开发者使用。软 件框架是整个人工智能技术体系的核心，实现对人工智能算法的封装， 数据的调用以及计算资源的使用，起到承上启下的重要作用。深度学 习软件框架在人工智能技术产业化实现详见图 1 所示。 图 1 基于深 度学习的人工 智能技术应用 架构图 2 软件框架（software framework），通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规 范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。 2 该图摘自中国信息通信研究院、中国人工智能产业发展联盟于 2018 年 9 月 6 日联合发布的《人工智能 发展白皮书-技术架构篇（2018 年）》 3 1 中国人工智能产业发展联盟 深度学习技术选型白皮书（2018 年） 人工智能基础性算法理论研究已经较为成熟，各大厂商纷纷发力 建设算法模型工具库，并将其封装为软件框架供开发者使用。软件框 架是算法的工程实现。企业的软件框架实现有闭源和开源两种形式： 少数企