无中生有 基于骨干网全量应用识别的威胁情报基础数据采集 北京派网软件有限公司 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. RSA总裁Amit Yoran 人们身处黑暗之中都会产生恐惧，因 为当看不清周围的环境，却能听到声 响或人影晃动时，人们将无法判断其 中是否潜在着一些危险，这就像今天 信息安全产业所面临的一个状态。 我们需要一张新的“地图”。这张“地图”一方面不依赖于预先 保护机制；一方面强调普遍的可视性；一方面可以很好地进行身 份认证和识别，掌握来自外部的威胁情报；一方面又能基于业务 的重要级别，进行安全资源的优化部署。 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 2 威胁情报获取的难题？ Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 3 威胁情报关键能力建设  在互联网应用的推动下，从IP为实体的三层感知进化为应用为实体的七层感 知，威胁情报理念发展的必然趋势。稳定的存储检索、准确的清洗、标签和关 联知识库则是分析能力的基础，它们的表现直接决定了结果的有效性。 感知能力 分析能力 应用感知 关联知识库 攻击感知 标签知识库 Session感知 清洗知识库 IP感知 存储检索 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 4 感知有多难 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 5 技术链条  没有互联网的飞速发展，就没有威胁情报，数据量猛增是互联网发展所带来的必然 结果，准确及时的大数据分析是掌握网络运行状况和控制网络用户行为的有效手段。 分析 数据获取 日志清洗 关联分析 客户响应 完整 准确 及时 有效  速度：超高处理 性能适应互联网带 宽发展趋势  内容无关：规整 合并、垃圾过滤 态势分析 ：运行 状况、应用预警  身份定位：实体 客户与网络身份映射  内容相关：数据 标签化、摘要常态 化 经营分析：成本 利润、资源引入、 聚类客户评价、 潜 在客户挖掘  到达手段：上门 服务、电话、短信、 Web信息、微信、 QQ等  广度：通达第七 层，关键信息一个 都不能少  存储优化 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 6 鸟揽威胁情报系统  分流子系统 - 协议转换，同源同宿  探针子系统 - 用户、事件和流量日志生成 - 内容无关清洗 - 数据初加工  知识库子系统 - 内容相关清洗知识库 - 标签知识库 - 关联知识库  数据存储分析子系统 - 海量存储、标签化、关联分析  响应子系统 - 响应信息生成、过滤与送达 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 7 威胁情报源仅仅是URL和DNS？ No！ 流量 • 所属应用 • 所属类别 • 流量大小 • 起止时间 • 应用流向分布 • 地址转换 用户 • QQ帐号、图片 • 微博、飞信、淘宝ID • 微信ID、图片、视频 • 百度贴吧ID • 电子邮箱 • 地理位置 事件 • 网页浏览URL • 搜索引擎查询 • 应用登入登出 • DNS查询 • 用户认证 • 共享用户 威胁情报基础数据 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 8 理想照进现实  记录全世界？ - 能力对等  数据究竟有多大？ - 用户、流量、事件 - 10GE到300G字节  数据收敛从哪里开始？ - 分流子系统的局限性 - 没有数据是多余的 - 应用探针的全流量需求  需要多少专家才能走完整个链条？ - 让专业的人做专业的事 - 通信专家、应用识别专家、大数据专家、行 业知识专家 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 9 探针技术演进 加密分析、节点 跟踪、主动探测 级旋风、优酷、爱奇 Applications MSN、POP3、IMAP 、Oracle等 IP Link Layer 静态端口 202.104.21.57 001CC4CF0747 硬匹配 IP探针 ASIC/NP/X86/多核 TCP/UDP 状态检测 与ALG 动态端口 Session探针 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. X86/多核/协处理器 明文模式 匹配 HTTP、SMTP、QQ、 安全探针 X86/多核/协处理器 艺、Skype等 ASIC/NP 探 针 设 备 数 据 面 的 变 化 BT、电驴、迅雷、超 应用探针 Page 10 你是谁？ 就像斯诺登所描述的一 样，它游走在政府和民 间的博弈中间，没人会 承认，但是没人能否认 它的存在。 + 防火墙日志 + 虚拟身份信息库 + IP位置信息库 = （张三在某酒店某房间登录了某种应用）  为什么是Panabit？ - 部署位置位于通信主干，无需改变连接拓扑 - 有足够性能处理关键要素审计，不需要增加设备 - 对应用协议分析透彻，分析协议可以涵盖邮件、即 时通信、社交应用和游戏等 - 附加移动属性：微博、微信、贴吧等 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 11 从哪里来？  实时精确锁定固网IP地址 地理位置 - 精确度达到街道楼宇级别 不依赖手机移动网提供数据 可定位内网IP地理位置 噪声来源：异地访问，设备 切换 - 依赖大数据统计规律  核心用途 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. 用户地理热力分析 应用地理热力分析 虚拟身份定位 无线环境定位 带宽资产核查 Page 12 无线环境信息  无线环境 - Copyright © 2014 Panabit and/or its affiliates. All rights reserved. IP和时间为索引 无线AP的SSID 无线AP的MAC地址 客户机MAC地址 无线环境探查 Page 13 移动设备信息  移动设备信息 - Copyright © 2014 Panabit and/or its affiliates. All rights reserved. IP和时间为索引 IMEI：唯一标识UE硬件 IMSI：唯一标识用户ID 手机MAC 大数据分析主要索引，例如 他网手机定位 Page 14 到哪里去？  应用去往何处？ - 所属应用：根据应用协议判定流量所属于的具 体应用种类，比如：迅雷、微信、爱奇艺、魔 兽世界等。 - 所属类别：归类具体应用所属的应用类别，比 如：视频、即时通信、P2P下载等，目的是为 了批量处理。 - 流量大小：流量所属session总数据量 - 起止时间：流量所属session开始和结束时间 - 应用流向分布：根据源地址和目的地址判别 session在运营商之间或者地理版图上分布。  与其他业务系统的配合 - 应用镜像：根据应用复制到探针其他物理接口 - 应用路由：根据应用选择下一条路由 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 15 域名分布异常 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 16 微软威胁情报中心总经理 John Lambert What is the most important network security spend: Sensor appliances? SIEM? Threat intelligence feeds? It's your analyst team. 最重要的网络安全开支是什么？传感器设备？安全信息和 事件管理？威胁情报来源？ 都不是，最重要的是你的分析师团队。 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 17 全业务分析  全业务流量 - 14大类 - 近1000种应用 - 如实反映协议完整性，从 三层覆盖到七层  可视化分析 - 分布 极值 趋势 相似性  流量与事件的事件序 列分析是主要未知威 胁情报来源 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 18 时间序列分析  HTTP浏览 认证 - HOST排名：发现异常，例如：病毒 - URL分类库：判定行为，分布 - 按IP段的URL排名：区域互联网活跃度，数据 中心发展情况 共享用户  DNS解析 DNS解析 HTTP浏览 - DNS解析排名：发现异常，例如：DNS Flooding，C&C - 时间段解析情况：应用热度  认证 - 针对AAA系统的攻击与滥用  共享用户事件 - 实际用户数监测：NAT后面有乾坤 Copyright © 2014 Panabit and/or its affiliates. All rights reserved. Page 19 应用画像 Copyright © 2014 Panabit and/or its affiliates. All