数据治理与安全： 从隔空相望到并肩前行 御数坊 刘晨 个人简介 刘晨，数据治理与管理领域专家、御数坊创始人。 •国际数据管理协会中国分会（DAMA China）副会长，清华大数据产业联合 会副秘书长； •拥有多年通信、金融、能源等行业数据治理规划与实施经验； •ITSS数据治理标准工作组成员、信标委大数据标准化工作组成员； •获得EDME、CDMP、DGP、IQCP等四项国际认证； •出版物：《DAMA数据管理知识体系指南》、《首席数据官实战》等。 嘉宾logo区域 为什么选择这个主题？ 嘉宾logo区域 2016年4月，美国San Diego，EDW企业数据世界 论坛，为期6天，200+议题 治理 安全 • 企业数据战略 • 数据治理项目实施 • 构建数据架构的新需求 • 数据质量度量和计分卡 • 大数据趋势和技术 • 主数据管理 • 企业信息管理 - 数据驱动的 业务变革 • 实时分析和商业智能 • 企业数据管理全方位最佳实 践 • 非关系型数据库 为什么选择这个主题？ 嘉宾logo区域 数据治理与数据安全的隔空相望 • 数据治理：数据模型，数据标准，数据质量， 元数据，主数据，参考数据，数据安全… • 数据安全：网络安全，系统安全，数据库安 全，数据安全… 然而，从知识到人员，数据治理与数据安全却总 似尤抱琵琶半遮面… 目的：加强交流，并肩前行！ 治理 数据 安全 议题 • 概念解读：数据管理、数据治理与数据安全 • 实践回顾：数据治理的国内外案例分享 • 行动思考：基于数据标准化的数据安全管理思路 嘉宾logo区域 为什么需要数据治理？ 嘉宾logo区域 不良数据治理导致的损失… • 元数据不一致导致卫星失败： – NASA，1999年，火星气候探测器，任务失败。 – 因为火星气候探测者号上的飞行系统软件使用公制单位牛顿计算推进器动力，而地面人员输入的方向校正量和推进器 参数则使用英制单位磅力，导致探测器进入大气层的高度有误，最终瓦解碎裂。 • 编码不一致产生的ERP建设返工、工期拖延： – 国内某大型企业实施SAP，SAP ECC模块公司代码与BCS模块贸易伙伴并行维护导致数据不一致，评估 返工工作量>1000人天 • 不良数据质量导致的财务损失： – 根据数据质量专家Larry English的统计，截至2010年，不良数据质量为122家知名机构带来的财务损失总计： $1, 212,374,479,000 数据引自《Information Quality Applied》 开展数据治理的背景和价值 • 背景 – 合规问题 – 安全问题 – 兼并收购 – 大数据 – 企业数据仓库/BI建设 – 数据集成/SOA – 数据质量问题和影响 – 主数据管理 – 公共业务术语 注：调研数据来自国际数据质量协会 嘉宾logo区域 什么是数据治理？ • 数据治理是对数据资产的管理行使权力和控制的活动集合（规划、监控和执行）。数据治 理职能指导其他数据管理职能如何执行。 9 数据治理与数据管理的区别：广义与狭义 • 数据管理（DM）： –规划、控制和提供数据和信息资产，发挥数据和信 息资产的价值。 Governance= management of management –EIM：强调企业级；DM可以在企业级和局部进行 • 数据治理（DG）： –对数据资产管理活动（the management of data assets）行使权力和控制的活动集合（规划、 监控和执行）。数据治理职能指导其他数据管理职 能如何执行。 • 数据治理制定正确的原则、政策、流程、操作规程， 确保以正确的方式对数据和信息进行管理。 10 数据治理，谁之责？ 领导：数据不对？从哪里出的？ 而IT部门，也饱受其苦： 业务部门：从系统出的！ • 数据定义和业务规则，业务部门最清楚； IT部门：… • 数据录入，业务人员负责； 领导：IT部门负责查明原因，解决问题！ • 数据使用，业务人员是用户； IT部门：… • 数据考核，业务部门有权力 于是，数据的问题，被广泛的认为是IT部门的职责。 数据治理，是业务部门与IT部门共同的职责 11 数据治理的组织架构： 强调不同领域业务人员的深度参与和决策 业务 IT 数据管理专员制度：Data Stewardship • 数据管理专员 Data Steward –Steward：管家，翻译成管家不够严肃，因此采用了“专员”。 –Steward与Owner相对应，说的是虽然资产不是归Steward所有，但是他们替Owner代管 • 数据管理专员制度 Data Stewardship –也衍生出Stewardship一词，表明代管、托管制度 –数据管理专员制度主要探讨业务部门应承担的数据管理角色、职责以及相应的能力要求和制度。 13 什么是数据管理专员制度？ Data Stewardship • 数据管理专员制度是为数据资产管理分配的、委托的业务职责和正式的认责 –是数据管理工作在业务方面的职责，对应的还有IT数据专业人员的职责。 • 数据管理专员（Data Stewards）定义和监视数据的定义、质量、访问和保留 –数据治理——对“如何管理数据”进行决策 –定义业务数据的名称、业务含义 –定义和维护参考数据值 –定义业务数据需求 –识别和解决数据问题 –定义数据质量需求和度量指标 –监测数据质量 –定义主数据管理和数据衍生计算的业务规则 –定义某些数据安全和访问规则 –定义某些数据保留规则和规程 14 数据治理方法：面向数据生命周期 时间视角—数据在IT系统建设和应用中被影响 • 企业管理数据资产，就是管理数据的生命周期。 • 数据先被创建或获得，然后存储、维护和使用，最终被销毁。 • 有效的数据管理，数据的生命周期开始于数据获取之前，企业先期制定数据规划、定义数 据规范，以期获得实现数据采集、交付、存储和控制所需的技术能力。 数据生命周期 规划 标准 规范 数据 架构 数据标准 数据质量需求 数据安全需求 数据保留需求 规划 分析 开发 实施 创建 & 获取 维护 & 使用 存档 & 检索 清除 数据质量监控、评估、提升 数据安全审计 数据归档、备份与清除 元数据管理 设计 开发 测试 部署 系统开发生命周期 (SDLC) © DAMA China, 2015 维护 15 数据架构：以企业数据模型为中心 概念/逻辑数据模型 • 企业数据架构一般包括三套主要设计组件： 1.企业数据模型，识别主题域、业务实体、控制实体元素之间关系的业 务规则，以及若干重要的业务数据属性。 2.信息价值链分析，使数据模型组件（主题域和/或业务实体）与业务流 程及其它企业架构组件相一致；这些组件可能包括组织、角色、应用、 目标、战略、项目和技术平台。 3.相关的数据交付架构，包括数据技术架构，数据整合架构、数据仓库/ 商务智能架构、企业对内容管理的分类方法，以及元数据架构。 企业数据架构不仅仅涉及数据，它还采用通用的业务术语来帮助建立企 业内的语义。 信息价值链分析 数据平台架构 从数据模型出发，延伸到不同粒度的数据标准 • 业务术语标准化： – 业务概念、业务含义 – 举例：客户、用户 • 指标标准化： – 名称、含义、口径、计算逻辑、来源… – 举例：营业收入 vs 销售收入 • 数据模型标准化： – 核心业务对象：员工，客户，产品，地址… – 举例：员工（员工号，部门号，姓名，性别，电 话…） • 数据元素标准化： – 数据库字段：最小的数据粒度 – 举例：身份证号码（中文名称，英文名称，数据 类型，长度，有效取值…） • 基础编码标准化： – 对某个数据元素的取值定义 – 举例：订单状态：已提交，已处理，退回，关 闭… 业务术语 指标 数据模型（逻辑/物理） 数据元素 基础编码 定义数据质量需求 • 数据质量需求： –数据质量需求通常隐含在业务政策之中，描述数据是否符合“适用性”（Fitness for Purpose） 需求。 • 数据质量维度包括： –准确性（Accuracy） –完整性（Completeness） –一致性（Consistency） –时效性（Currency） –精确度（Precision） –隐私（Privacy） –合理性（Reasonableness） –参照完整性（Referential Integrity） –及时性（Timeliness） –唯一性（Uniqueness） –有效性（Validity） 数据安全管理的主要活动 嘉宾logo区域 • 理解数据安全需求和监管需求 • 定义数据安全策略、标准、控 制和措施 • 管理用户、密码、用户组成员 • 管理数据访问视图和权限 • 监控用户身份认证和访问行为 • 划分信息密级 • 审计数据安全 数据安全管理关键活动示例 • 理解数据安全需求 –业务规则和流程定义了安全接触点。业务工作流中的每一个事件都有自身 的安全要求。 •数据到流程（Data-to-Process）和数据到角色（Data-to-Role）关系矩阵，引 导数据安全角色、参数和权限的定义。 –需要在每个系统开发项目的分析阶段就识别具体的应用安全要求 • 关系数据库视图的数据安全机制 –基于数据值将数据表中的数据限制到某些行。 –视图还可以允许广泛地获取某些列，并对密级更高的列限制访问。