高德稳定性架构实践 阿里巴巴-高德 梁磊(雷娃) leywar.liang@alibaba-inc.com 2015.10.10 2015-6-1 2015-6-1 概览 • • • • • • • 稳定性与在线系统 高德稳定性挑战 系统容灾一般原则 主动容灾架构设计 Trace-问题诊断与跟踪 适应迭代的业务抽象 Q/A 在线稳定性的影响 研发 效率 用户 体验 交付效率 地图服务稳定性挑战 地图场景下的稳定性挑战 结果位置相关, 位置的不可枚举性 Native应用快速发版与稳定性的矛盾(前向兼容/两周发版) 多上游业务差异化: 手机端/PC/Web MO/开放平台/苹果地图/车联网/导航… 稳定性架构设计一般原则 I. 主动防范体系架构 在线服务分层模型 在线服务分层容灾能力 分层 容灾能力 系统级 1. 防攻击能力 2. 快速的流量切换与引导 接入层 1. 有效的流控机制(TMD) 2. 异常流量的检测与快速屏蔽机制 3. 必要的降级预案 服务层 数据层 1. 服务的自我保容能力 2. 服务的自我容错机制 3. 服务的快速诊断机制 4. 服务的降级预案 5. 服务的分级发布和快速回滚能力 1. 数据的预上线与分级发布机制 2. 数据的校验与异常保护机制 稳定性风险最高 搜索主动容灾系统 搜索容灾架构 负载调 度 在线 离线 容灾服 务 容灾架构 分级发 布 过载保 护 搜索容灾架构 过载保护 核心目标 服务自我保护, 异常时主动进入过载保护状态 服务不能被打垮, 在保护的容量上限下稳定服务输出 (网络/交换机等异常除外) 问题难点 指标的选择, 如何判定过载? 状态的判断, 基于单点/集群状态? 过载保护之指标选择 基于队列状态 往往在拥塞后作出响应, 弹性差, 甚至堵死 存在无法触发自我保护的容灾, 降级预案等的风险 基于CPU利用率? 过载保护之活跃任务 在一个时间切片下同时活跃的任务 过载保护 活跃任务状态 系统状态的实时负载反应 敏锐感知服务状态,非线程的CPU活跃状态 过载保护机制 过载发现, 规避队列控制的缺点 对系统异常同步检测, 配合以防抖动机制 是保容的前置条件, 保证容灾手段的绝对生效 准事前防范 过载保护 容灾服务 容灾Cache 一种有损的降级服务 基于用户请求实时训练而得 延迟环境 历史版本的服务/数据镜像 一个静态检索环境 容灾服务 78% 容灾Cache承载大部分流量 展现日志训练key->IDList 22% 延迟环境相对稳定 承载Cache无结果流量