工业大数据分析指南 工业大数据分析指南 序言 如今，全球掀起了以制造业转型升级为首要任务的新一轮工业变 革，工业大数据作为引领这场变革的主要驱动力，已经成为当今工业 领域的热点之一。 新一代信息技术与制造业的深度融合,将促进工业领域的服务转 型和产品升级，重塑全球制造业的产业格局。为紧紧抓住这一重大历 史机遇，抢占制造业新一轮竞争制高点，党中央高度重视并作出长期 性、战略性部署。党的十九大报告指出，要“加快建设制造强国，加 快发展先进制造业，推动互联网、大数据、人工智能和实体经济深度 融合”。 工业大数据是智能制造的核心，以“大数据+工业互联网”为基 础，用云计算、大数据、物联网、人工智能等技术引领工业生产方式 的变革，拉动工业经济的创新发展。工业大数据分析技术作为工业大 数据的核心技术之一，可使工业大数据产品具备海量数据的挖掘能力、 多源数据的集成能力、多类型知识的建模能力、多业务场景的分析能 力、多领域知识的发掘能力等，对驱动企业业务创新和转型升级具有 重大的作用。可以从以下三个方面来理解。 首先，资源优化是分析的目标。企业之间竞争的本质是资源配置 效率的竞争，优化资源配置效率是企业技术创新应用的主要动力，也 是工业大数据分析的核心目标。工业大数据分析是实现新一代信息技 术与制造业融合的重要技术支撑，其目的是不断优化资源的配置效率， 实现生产全过程的可视化、高端定制化生产、产品生产节能增效、供 I 工业大数据分析指南 应链配置优化、企业智能化管理等，达到提升质量、降低成本、灵活 生产、提高满意度等目的，促进制造业全要素生产率的提高。 其次，数据建模是分析的关键。来源于产品生命周期的各个环节 中的海量数据，为工业大数据分析提供了前提和基础，而海量的工业 数据如果不经过清洗、加工和建模等处理是无法直接应用于实际的业 务场景。工业大数据分析通过模型来描述对象，构建复杂工业过程与 知识之间的映射，实现知识清晰化、准确化的表达。 最后，知识转化是分析的核心。确定性和稳定性是工业应用的两 个基本特点，这就决定了工业大数据分析技术就是感知信息和提炼知 识，其核心在于如何把海量数据转化为信息，信息转化为知识，知识 转化为决策，以应对和解决制造过程的复杂性和不确定性等问题。 《工业大数据分析指南》是在新形势下对工业大数据分析关键共 性问题进行的辨识、抽象和提升，适应当前工业大数据的应用需求和 技术变革，具有较为广泛的通用性和相对普遍的指导意义，适于工业 领域内的企业、机构的研究和参考。希望通过与业界的分享，共同推 动工业大数据开发利用和应用推广，为制造强国和网络强国建设添薪 助力！ 谢少锋 II 工业大数据分析指南 编写说明 工业大数据是工业领域相关数据集的总称，是工业互联网的核心， 是智能制造的关键。工业大数据分析技术作为工业大数据的核心技术 之一，是工业智能化发展的重要基础和关键支撑。为此，在工业互联 网产业联盟的指导下，工业大数据特设组主持编写了这本《工业大数 据分析指南》。 本书旨在对通用的工业大数据分析方法和分析流程进行归纳总 结，对其关键共性进行辨识、抽象和提升，而非针对某一特定行业、 企业或产品进行阐述。本书更加关注于方法论而非某些具体的技术， 因此具有更加广泛的通用性和相对普遍的指导意义。 本书共分为 9 章，第 1 章首先论述了工业大数据分析的概念、特 殊性以及常见的问题；第 2 章提出了工业大数据分析框架，简要介绍 了 CRISP-DM 模型，并针对模型落地的难点和模型使用的指导思想展 开讨论；从第 3 章到第 8 章，依次对业务理解、数据理解、数据准备、 数据建模、模型验证与评估、模型部署这 6 个 CRISP-DM 模型的基本 步骤进行了详细的阐述，从需求分析到目标评估，从数据来源到数据 分类，从数据预处理到建模过程，从模型验证到部署问题处理，对每 一个步骤中的原理方法、分析过程、处理方式、问题排除等都一一进 行了讲解和说明；最后，第 9 章对工业大数据分析的未来发展进行了 展望。 本书由工业大数据特设组组长单位清华大学牵头编写，在编写过 程中得到了工信部领导的悉心指导和相关单位的有力支撑。特别感谢 III 工业大数据分析指南 清华大学孙家广院士、工信部信软司谢少锋司长等给予的全面指导。 同时，北京工业大数据创新中心的李三华、田春华，清华大学的任艮 全、徐哲、强逍等在本书的编写阶段也给予了无私的帮助，在此表示 诚挚的谢意。 工业大数据作为新兴概念，其数据分析的原则、手段、方法和流 程还很模糊，对海量数据的挖掘、分析和处理等技术仍在不断的发展 和进步，由于作者自身的能力和水平有限，本书不可避免的存在诸多 的缺点和不足，期待各位读者能够积极发现问题，并予以批评指正。 编写单位：清华大学 编写组成员：王建民、郭朝晖、王晨 IV 工业大数据分析指南 目 录 序言 ..................................................................................................I 工业大数据分析概论 ............................................................ 1 1. 工业大数据分析的概述 .................................................. 1 1.1 1.1.1 工业大数据分析的概念............................................. 1 1.1.2 工业大数据分析的相关技术 ..................................... 2 1.1.3 工业大数据分析的基本过程 ..................................... 2 1.1.4 工业大数据分析的类型............................................. 4 1.1.5 工业大数据分析价值 ................................................ 5 1.1.6 工业大数据分析支撑业务创新 ................................. 6 工业大数据分析的特殊性 .............................................. 8 1.2 1.2.1 从工业数据分析到工业大数据分析 ......................... 8 1.2.2 工业大数据与商务大数据分析 ............................... 10 1.2.3 工业大数据建模的难点........................................... 11 工业数据分析中的常见问题 ......................................... 12 1.3 1.3.1 业务和数据理解不当导致的失误 ........................... 12 1.3.2 建模和验证过程的失误........................................... 12 1.3.3 避免失误的方法 ...................................................... 13 工业大数据分析框架 .......................................................... 14 2. 2.1 CRISP-DM 模型 ........................................................... 14 2.2 CRISP-DM 模型的落地难点 ......................................... 15 2.3 工业大数据分析的指导思想 ......................................... 16 业务理解.............................................................................. 19 3. 3.1 认识工业对象 ................................................................ 19 I 工业大数据分析指南 3.1.1 工业系统的抽象化 .................................................. 19 3.1.2 工业系统的功能描述 .............................................. 20 3.1.3 系统功能到技术原理的理解 ................................... 20 3.1.4 系统功能与业务场景的关联 ................................... 21 理解数据分析的需求 .................................................... 21 3.2 3.2.1 工业过程中的数据分析需求 ................................... 21 3.2.2 数据分析的价值需求 .............................................. 22 3.2.3 具体业务场景的数据分析需求 ............................... 23 3.2.4 数据分析需求的梳理方法 ....................................... 23 工业数据分析目标的评估 ............................................ 24 3.3 3.3.1 工业知识的理解 ...................................................... 24 3.3.2 工业知识的合用性 .................................................. 24 3.3.3 专业领域知识的融合 .............................................. 25 制造的全生命周期 ..