Hadoop安全体系介绍以 及实践分享 杨威@明略数据 2015-10-15 2015-10-15 风险  外部风险  恶意用户入侵 – 密码破解  内部风险  内部用户 – 违规操作、失误操作、越权访问  数据风险  数据被泄漏、篡改、删除  服务风险  服务非法使用、资源超限使用、系统可用性风险 4 Hadoop平台“安全”的两个方面  数据安全  保障平台上的数据不被恶意用户所窃取、破坏和泄漏  保障平台上的服务不被恶意操作和使用  网络安全、主机安全、服务安全、数据安全  运维安全  即工业界常提的安全生产  提升平台的稳定性和可靠性，保障服务的正常运行  权限独立管理、资源统一管理、服务热备双活 5 Hadoop 之 数据安全  缺乏安全配置的Hadoop平台有哪些隐患？ • • • • SIMPLE的身份验证机制 – nobody都可以冒充superuser 基于Linux用户组信息的文件访问控制 – 本地权限可被恶意用户利用 不经授权的数据访问和粗粒度的数据访问控制 – 不经授权的获取关键数据 不设防的底层文件存储 – 偷走文件即偷走了数据内容 不设防的身份验证 • SIMPLE的身份验证机制 – – • 认为系统内的所有节点都是可信赖的 认为用户的身份都是他自己所宣称的 后果 – 任意机器可伪装成为集群的一个节点加入 •伪装成DataNode ,NodeManager甚至NameNode •破坏集群的正常运转 – 集群任意节点的任意帐号可伪装成超级用户或者其他用户 •任意偷取、破坏数据 •任意提交任务占用集群资源 •等等你能想到的一切最坏情况 基于Linux用户组信息的文件访问控制 • • 模拟Linux的文件系统权限：RWX * (Owner, Group, Other) 可利用本地权限获得平台权限 – – – 开给某个应用的跳板机上，假设A, B 两个帐号分属不同组，都可 以访问Hadoop A将其文件设置为了Group可读 假如B拿到了该跳板机的Root权限，即可把自己的属组改为和A相 同，即可访问A的文件 8 不经授权的数据访问 • Hive的数据表通常没有设置访问权限 • 表级别的权限控制不能限制敏感数据的访问 • 缺乏跨引擎的平台级的统一数据权限控制机制 Addres Orde Merchan ID Name Cardbin s r t Transaction 1 张三 8888-9999-66661111 北京 123 家乐福 100.00 2 李四 8888-9999-66662222 北京 321 沃尔玛 10000.00 3 Tom 8888-9999-66663333 深圳 222 海底捞 330.01 4 Cat 8888-9999-66664444 深圳 456 香格里拉 299.99 不设防的底层文件存储 • 再好的上层身份认证、 权限控制系统都抵不住 底层文件直接泄漏 – – – HIVE中的数据文件以明 文或者近似明文的方式 存储 恶意用户可直接copy走 文件来绕过上层的权限 管理系统 恶意用户甚至可直接 copy走DataNode上的 DataBlock来窃取数据 Hadoop平台之安全体系 操作安全 安全审计 安全运维 服务安全 服务访问授权 服务权限分割 数据安全 数据传输加密 底层数据加密 数据访问授权 周边安全 网络安全、系统安全 身份系统、安全认证 Hadoop平台之安全体系 • 身份认证 – Kerberos • 身份管理 – LDAP • 授权访问 – 服务授权访问：Policy File – 文件授权访问：HDFS ACL – 数据授权访问：SENTRY • 安全审计 – 审计日志 • 数据加密 – HDFS crypto – Hadoop Key Management Server（KMS） • 传输加密 • 通信加密 • REST加密与认证 12 身份认证 • 要证明你是你 – – 你有打开锁的钥匙 你能对上暗号 身份认证 • 基于Kerberos的服务与用户的身份认证 机制 – – – • • 80年代中期产生，93年加入RFC协议，已 成为网络中可信任的第三认证服务的事实 标准 Principal, Realm KDC(Key distribution center), AS(Authentication service), TGS(Ticketgranting service) 基于口令/密钥认证 一次登录，全局认证，适用于分布式系 统 身份认证 15 当前需要进行Keberos认证的组件 • Zookeeper • HDFS • YARN • HBase • Hive • Impala • Oozie • Sqoop2 • Flume • HUE • Kafka(on the way) 身份认证 Kerberos登录方式 命令式 • 程序代码 •  • 帐号密码 • Keytab文件 。 独立身份系统  与Linux用户组信息无关的用户管理 所有的权限控制基于此用户管理系统统一进行  基于Kerberos的用户身份  – – Kerberos Pricipal -> Hadoop User Etlman/hadoop@mininglamp.com 17 独立身份系统  基于LDAP独立管理的用户组信息 – – – Hadoop User -> Hadoop Group hadoop.security.groups.cache.secs Hadoop.security.group.mapping.ldap.bind.passwordfile 18 Impersonation - Proxy User A B oozie Oozie oozie C 19 HDFS YARN 可动态生效，无需重启服务 A B C A,B,C Oozie A,B,C HDFS YARN bin/hdfs dfsadmin –refreshSuperUserGroupsConfiguration bin/yarn rmadmin –refreshSuperUserGroupsConfiguration 一些建议  Kerberos备份  Kerberos应配合LinuxContainerExecutor一起使用    不使用LinuxContainerExecutor，所有的container会以yarn用户执行， container之间可以 互相访问本地目录 每个机器上运行的任务是以提交任务的用户UID执行， container之间不可互相访问数据 LinuxContainerExcecutor可考虑配合cgroups  严格的cpu、内存使用限制 20