Apache Storm 日志分析探索 Presented  by:孟诚   唯品会信息安全部 Presentation将包含以下内容 •  •  •  •  •  STORM简单介绍。   为何会开始研究STORM？   我们使用STORM计算什么？   搭建STORM平台过程中遇到的问题。   STORM性能优化算法。   ⽇日志对于安全来说是什么？ 我认为它是安全的感官 日志分析 p 非常有价值   •  几乎所有的异常都能从日志中发现   p 很难   •  海量的数据   •  准确发现   STORM简单介绍 •  分布式实时计算框架(  distributed  real-me   computa-on  system)   ü 可扩展(scalable)   ü 可容错(fault-­‐tolerant)   ü 确保每条数据都会被处理(guarantees  your   data  will  be  processed)     我们使⽤用STORM做什么？ Nginx日志 攻击监测 业务安全 攻击监测 •  大量正则规则匹配          e.g  script.*/script     •  攻击自动化验证确认 攻击有效性   业务安全 各接口监控   登录、注册、短信、购物车等     各活动监控   派券、抢购     各礼券使用监控   礼品卡、优惠券     STORM⽇日志匹配规则热配置 •  作用：无需更改任何代码实现日志匹配规 则改变 STORM规则数据⻚页⾯面 STORM⽇日志查询 无JAVA基础 前后端全写 对大数据 一无所知 挑战？ Sure,  but  we  enjoy  it! 历时8个月 不到20台服务器 （中等性能） 2位工程师 大数据流量 10,000,000,000   18,000,000   每日流量 峰值流量（每分钟）   2015.05.21  10am 1,000,000   写入（每分钟） 复杂的计算 PV计算 UV计算 HTTP_Code 攻击匹配 动态匹配 特征   匹配 无 无 无 是 是 数据   结构 简单 中等 简单 简单 复杂 匹配规则 确定性 确定 确定 确定 确定 不确定 数据写入 量 低 低 低 中 高 架构概述 日志源 日志过滤   分割 固定接口   匹配 入侵特征   检测 规则加载 动态规则   匹配 中间计数器 Mysql存储 最终计数器 Cassandra   储存 动态规则匹配 Config_Table VPM_Table IP_Count_Table 域名     规则    写入表名   时间     次数     IP   IP  ABC段     时间   次数   周几   插入 创建 读取 创建 写入 写入 域名 N 域名 匹配 动态规则匹配 Method+request+UA   +IP+Request_Data Y N 规则 匹配 Y 生成   计数字段 传到计数器 wap_login,   1505221735,   101.102.135.1   域名 Key 规则 表名 标记 www   .vip.com detail W_1 T www   .vip.com   .* W_2 F cart.   vip.com cartadd C_1 T cart   .vip.com viewcart C_2 F mapi   .vip.com login_id=.*&p asswd Wap   _login T sapi   .vip.com .* S_1 T 预聚合 wap_login,1505221735,101.102.135.1   wap_login,1505221735,101.102.135.1   wap_login,1505221735,101.102.135.1   中间计数器 中间计数器 Key value Key value wap_login,   1505221735,   101.102.135.1   1 wap_login,   1505221735,   101.102.135.1   1 2 最终计数器 Key value wap_login,   1505221735,   101.102.135.1   3 流⽔水线处理 车身 喷漆 内饰 5分钟 10分钟 5分钟 车身 喷漆_1 喷漆_2 内饰 5分钟 5分钟 5分钟 5分钟 一小时能造几辆车？     1+(60-­‐20)/10   =  5辆   1+(60-­‐20)/5  =  9辆   流⽔水线优化：正则 •  SQL注入   Select.*from|from\\W+informagon_schema|/\\char\\(\\d*\\)|chr\\(\\d*\\)……   扫描器   sqlmap|Acunegx……   •  跨站脚本   script>.*</script……   •  敏感文件遍历   \\.\\./|\\.\\.  %2f|etc/passwd|……   •  WEBSHELL   phpshell\\.php|webshell\\.php……   Stucts   s|%20)+\\{.*\\|getRungme|redirectAcgon……