CAT (Central Application Tracking) 自我介绍 尤勇 ⼤众点评 基础架构组 ⼤纲 CAT介绍 CAT设计 最佳实践 CAT介绍 CAT(Central Application Tracking)是基于Java 开发的实时监控平台，主要包括移动端监控、 应用侧监控、核⼼⽹络层监控、系统层监控 等。 CAT是⼀个给提供实时监控告警，应用性能分 析诊断的⼯具。 实时系统 1、客户端日志不落地 2、服务端流处理 整个系统从客户端产⽣消息到服务端产⽣实时 报表延迟在毫秒级别 CAT的Logview 消息头 版本号，消息ID，所属业务，IP，所在线程，根消息ID 消息体 可视化Logview 分布式Logview 应用监控报表（APM） 报表 Transaction 说明 Event Problem Hearbeat JVM Memory Thread Matrix Cross SOA RPC Cache Dependency … … ⼤纲 CAT历程 CAT设计 最佳实践 CAT设计 整体设计 客户端设计 服务端设计 整体设计 应用A 应用B 应用C Consumers Consoles 消费机 控制台 TCP 实时数据查询 消费机 Logview Report 控制台 历史数据查询 客户端设计 HttpThread ThreadContext 开始 创建消息树 Call 创建Call节点 SQL 加⼊SQL节点 Cache 加⼊Cache节点 ...... ..... 结束 消息构建结束 Sender Server Sender Server Sender Server threads Message Queue 客户端重点 内存开销 由于埋点问题，消息⾜够⼤ CPU开销 构建消息⾜够轻量，开销减低在2% 客户端没有做压缩 基于netty实现消息传输 遇到问题-IO java message tree id的⽣成，java MappedByteBuffer需要做持久化 业务主线程的使用 在任何时候客户端都是需要考虑极端情况cpu或 者io的开销 遇到问题-Memory MessageTree的内存占用太⼤，极端情况下， ⼀个messageTree里面上万个节点 在任何时候客户端都是需要考虑极端情况内存 的开销 服务端设计 消息消费机 应用A 应用B 应用C File 监控消息 异步发送 Receiver Analyzer Receiver Analyzer Receiver Analyzer threads threads 消息转储 异步线程 统计报表 当Analyzer处理来不及 消息消费机 Receiver Receiver domain hash Analyzer1 Analyzer1 Receiver Analyzer2 Analyzer3