淘宝技术发展历程和架构经验分享 阿里巴巴集团 共享业务-中间件 王晶昱 邮箱：shenxun@alibaba-inc.com 1 讲述人介绍 • 王晶昱（花名：沈询） • 阿里巴巴 中间件&稳定性平台 – 高级技术专家 – 8年 • 负责 – 淘宝分布式数据库(TDDL/DRDS) – 淘宝分布式消息系统(Notify/ONS) • Weibo: @淘宝沈询_WhisperXD • Email: shenxun@taobao.com • 阿里技术架构发展历程 • 技术变革趋势 • 阿里技术架构关键组件介绍 前期技术发展 • 王晶昱（花名：沈询） • 阿里巴巴 中间件&稳定性平台 – 资深技术专家 – 8年 • 负责 – 淘宝分布式数据库(TDDL/DRDS) – 淘宝分布式消息系统(Notify/ONS) • Weibo: @淘宝沈询_WhisperXD • Email: shenxun@taobao.com 前期技术发展 2006.10 – 2007.10 Ibatis OR_mapping OR-Mapping OR-Mapping cache Node1 分布式存储 Node1 Node2 Noden Oracle Oracle Oracle Oracle Node1 Node2 Read/Write …… Node2 Noden Noden 前期技术发展  上百人维护一个核心工程  源代码冲突问题严重  项目团队之间协同代价高  人员更新速度比较快  人员学习老代码难度大  源代码膨胀 前期技术发展 – 问题1 业务支持缓慢 前期技术发展 – 问题2 • 数据孤岛 – 数据库总是被不明来源的SQL查挂 – 同类数据格式不统一，无法形成合力 天猫 用户数据 淘宝 用户数据 交易数据 淘宝评价 天猫评价 前期技术发展 – 问题3 数据库能力达到上限 cpu 90%以上，每年down机最少一次 连接数捉襟见肘 太多的应用机器 需要数据库连接 有限的链接池 Oracle数据库 前期技术发展 – 问题3 • 维护人员多，团队职责不清 • 数据无法共享，团队各自为战 • 小型机数据库压力过大连接数，单点系统风险很 高 淘宝3.0 • 服务化(SOA) ‐ 系统专业化分工 ‐ 减少学习成本 ‐ 用户中心 (UIC)，第一个业 务中心在2008年初上线 ‐ 千岛湖项目，交易中心(TC) ，类目属性中心(Forest) ‐ 五彩石项目，店铺中心(SC) ，商品中心(IC) ，评价中心 (RC) • 组织结构支持 ‐ 服务中心团队 ‐ 中间件团队 ‐ 垂直产品团队 商品详情页 平 台 技 术 中 间 件 运 维 保 障 商品详情页 团队 商品详情页 团队 用户中 心 用户下单页 商品中 心 交易中 心 评价中 心 平台 技术 用户 团队 商品 团队 交易 团队 评价 团队 技术 保障 淘宝3.0 • 数据库拆分 ‐ 可按需扩容 ‐ 尽可能对业务透明 ‐ 用Proxy模型减少连接 数 ‐ 选择恰当的切分维度 ‐ 商品失败案例的分享 – 某数据库pc机经常挂掉 – 某数据库11G压测出现性能问 题 – 死机后会hung住业务机 写写 某数据 库小型 机 读 读 SSD MySQL 某数据库pc机 SSD MySQL 某数据库pc机 SSD MySQL 某数据库pc机 ….. ….. TDDL 复制 淘宝3.0 CDN CDN CDN Web应用 Web应用 ONS 消息服务 商品中心 商品中心 DRDS 数据库切分 商品数据库 商品数据库 商品数据库 商品数据库商品数据库 通用数据分析平台 阿里云飞天 EDAS EDAS 小文件存储服务OSS Web应用 EDAS 服务框架 商品中心 内存缓存服务器OCS CDN 用户中心 用户中心 用户中心 DRDS 数据库切分 用户数据库 用户数据库 用户数据库 用户数据库用户数据库 搜索引擎opensearch 淘宝3.0 天猫TMALL 淘宝网 高德 业务应用 支撑团队 阿里健康 云OS电视 云OS手机 AliExpress 电商域能力开放 IT共享业务 架构团队 基础应用 架构团队 蚂蚁钱包 移动IM域开放 企业级分布式应用服务 企业级分布式应用服务 EDAS EDAS 虚拟机 ECS ECS 聚划算 支付域能力开放 地理信息域开放 .. 阿里小贷 钉钉 来往 云OS手机 阿里小号 Alibaba.com 阿里保险 物流域能力开放 .. 医疗域能力开放 分布式数据库服务 DRDS 分布式消息服务 ONS 负载均衡 SLB 文件存储 OSS .. • 阿里技术架构发展历程 • 技术变革趋势 • 阿里技术架构关键组件介绍 技术架构经验 • 服务原子化解藕 • 高性能RPC框架 服务化架构 使用成熟组件 自动化,高可靠 • 任何节点和链路故障情 况，能够自动检测，优 化确保高可靠性 • 长期实际生产环境中证明过的可靠成 熟组件 • 用户量翻倍，系统构建难度也会翻倍 异步化，最终一致 • 高性能消息服务框架 • 系统应用尽量无状态化 • 确保系统最终一致 数据化运营 • 服务运行实时监控，数据积累可视 化 • 数据积累提供系统的优化基础 • 服务能力，随着资源加 入，微服务级线性的性 能和容量扩展 去中心化，线性扩 展 服务化  特征：  系统由服务单元组成  服务能力开放  数据共享  团队垂直化  优势  业务支撑更敏捷  利于数据分析与挖掘  无数据孤岛  技术引领无限可能 服务化系统的演进 去中心化  特征：  整个系统无单点  系统中所有角色可单独扩缩  故障影响小  优势  应用更稳定 服务调用 … 者  扩展性好 … 使用企业应用服务框架(EDAS/ONS)来实现应用去中心化架构 服务调用 者 服务调用 者 … … 服务提供 者 服务提供 者 服务调用 者 服务调用 者 服务提供 者 … … 服务提供 者 … … 服务提供 者