京东弹性计算实践 京东/云平台/系统技术部 何小锋 www.jd.com 自我介绍 姓名：何小锋 部门：京东/云平台/系统技术部 职位：高级架构师 邮箱：hexiaofeng@jd.com 电话：13910526009 个人介绍： 拥有17年的研发经验，喜欢技术，追求卓越。 2011年加入京东，担任了京东两届架构委员会常委。 目前在京东云平台系统技术部，负责弹性计算和分布式消息平台建设。 www.jd.com 议题 www.jd.com 1 京东弹性计算之路 2 京东弹性计算架构 3 京东弹性调度策略及算法 4 京东弹性调度流程 5 京东弹性计算应用场景 面临得挑战  随着京东业务的发展，应用越来越多，更新迭代很快，目前交付效率不高。  每年物理机的增速快，运维成本高；  为了满足618、双11和秒杀活动的性能需求，需要提前准备大量服务器，资源 浪费严重。  当监控到应用负载高，需要扩容的时候，部署新实例流程复杂，扩容慢。  应用部署拓扑复杂，多环境部署，多机房部署，为了减少网络调用，多个依赖 应用混合部署在一起； www.jd.com 京东弹性计算之路 2015/11/11 2013 全面推广 40000+ 2014Q4 2015/6/18 2015Q1 弹性计算 平台 www.jd.com 弹性落地 10000+ 从KVM迁移到Docker 低隔离安全 高性能 高稳定性 快速部署 www.jd.com 议题 www.jd.com 1 京东弹性计算之路 2 京东弹性计算架构 3 京东弹性调度策略及算法 4 京东弹性调度流程 5 京东弹性计算应用场景 京东弹性计算架构 业务系统 应用平台(CAP) (部署集成、弹性伸缩) 基础平台(JDOS) (OpenStack+Docker+JFS+OVS) IDC资源 弹性计算平台 = JDOS（JD Datacenter OS）+CAP（Cloud Application Platform）。 JDOS实现实现基础设施（网络，物理机，存储）的资源管理、容器的生命周期管理、 监控指标采集； CAP负责应用治理、部署、监控报警、资源利用率统计、手动扩容和缩容、自动弹性伸 缩。 www.jd.com OpenStack+Docker 业界还没有成熟的Docker集群管理系统，OpenStack经过几年的发展，已经 相对成熟，JDOS沿用了OpenStack来管理Docker。 采用Nova Docker Driver方案来集成，把Docker作为一种新的Hypervisor 来处理，这样可以使用OpenStack中的所有服务，包括使用Nova Scheduler来 做资源调度，集成Neutron来管理Docker网络，支持多租户和资源隔离等等 www.jd.com JDOS网络及存储  为了兼容现在的基础设施系统，满足用户习惯，每个容器都有独立的IP。  当前版本Docker自带的网络功能无法满足现有需求，禁用了Docker网络，采 用Neutron集成OVS。  京东推广了微服务，大量的调用传递的数据包较小，优化OVS转发层，显著提 升网络小包延迟，提升比率大约有20%；  目前版本的DeviceMapper还是实验性产品，不稳定，生产环境使用的是XFS 文件系统。  用户经常有查询日志的需求，通过挂载数据盘，把日志保留到宿主机，避免容 器销毁后，日志丢失。  同时集成了京东自主研发的JFS作为块存储。 www.jd.com JDOS镜像 京东应用发布更新很快，部署复杂。通过在一台容器上做好镜像，可以快速的分 发到线上，能极大的提高效率。 为了减少镜像的大小，镜像分层为OS层、基础层和应用层，支持镜像合并。 为了加快分发的速度，采用镜像预分发技术，OS层和基础层提前分发，应用层 会在创建容器的时候实时拉取，支持镜像数据文件分段并行下载。 根据公司项目管控的需要，分别构建开发测试环境和线上正式环境镜像中心 不同的环境有不同的配置，提供了统一的配置中心来实现配置的动态修改。 www.jd.com CAP—架构 CAP集成现有基础系统，实现镜像制作，部署流程，手动扩容和缩容、自动 弹性伸缩，应用治理、监控报警、资源利用率统计等等功能。 核心是一套工作流，基于Zookeeper分布式调度引擎来实现。能动态注册发 现节点，便于动态扩容；能控制单个节点的并发任务数，任务失败后的重试次数， 同时确保同一应用的互斥任务串行执行。 www.jd.com CAP—监控方案 监控报警、弹性伸缩、资源利用率等等都依赖于容器指标，要求数据实时准确。 用户期望容器的监控指标和物理机的一致，包括CPU，内存，网络流量，系统负 载，连接数等等，自研采集程序补充指标。 指标数据带有明显的时间特性，每日数据上亿，采用了成熟的OpenTSDB方案。 提供了从应用和实例多个维度查看负载情况，满足用户的需求。 可以对应用配置警策略，进行短信或邮件报警。 www.jd.com CAP—监控页面 www.jd.com 议题 www.jd.com 1 京东弹性计算之路 2 京东弹性计算架构 3 京东弹性调度策略及算法 4 京东弹性调度流程 5 京东弹性计算应用场景 多个部署环境 不同的环境有不同的调度流程，只有生产环境才开启弹性。 生产环境 预发布环境 www.jd.com 测试环境 应用元数据 一个应用可以有多个不同的分组，每个分组都可以部署到不同的机房，不同分组 对应的程序配置或版本是不一样的。在弹性过程中，需要知道应用的元数据。 分组可以覆盖应用的标签、拓扑、配置和规格信息。 www.jd.com 基于元数据的资源分配算法  根据应用拓扑选择合理的机房和机架；  根据业务域标签、硬件标签和应用级别选择合适的域；  根据软件标签选择合适的基础镜像；  根据规格（CPU，内存，磁盘）限制容器占用的资源。 www.jd.com