蚂蚁⾦金服⾦金融云PAAS docker 实践 蚂蚁⾦金服基础技术部系统组-知胜(吴峥涛) 3 为什么选择docker？ ⼤大型⺴⽹网站所⾯面对的问题 ⼤大型⺴⽹网站所⾯面对的问题 负载均衡 缓存 SOA服务化 ⽔水平扩展 多机房多 数据分库分表 …….. 服务发现 数据⼀一致性 ⾼高性能通讯组件 可靠消息中⼼心 异地灾备 蚂蚁中间件地图 请参考蚂蚁⾦金融云⺴⽹网站 6 7 有效应对⽇日益增⻓长的业务压⼒力 2014年 2013年 2012年 2010年 交易额 （仅淘宝） 2011年 571.12亿 350亿 191亿 54亿 3.67亿 19.5亿 1.88亿 1.058亿 交易笔 数 付款峰值 笔数 3360万 38521/秒 1280万 2万/ 分钟 15320/秒 6.3万/ 分钟 20.5万/分钟 3833/秒 以PAAS⽅方式打包输出中间件 ● 与阿⾥里云整合 ● 帮助⽤用户去IOE ● 降低⽤用户研发/运维成本 ● 帮助⾦金融⽤用户解决技术问题，让⽤用户专注于业务逻辑 上帝的归上帝，凯撒的归凯撒 9 蚂蚁⾦金融云架构 ⺴⽹网商银⾏行 SAAS 神秘应⽤用 不可说 ……… ⾦金融云PaaS平台 ⾦金融级云管理 平台 应⽤用容器和 框架 实时监控分析 平台 分布式数据 和事务 可靠通讯平 台 服务治理 平台 分布式 调度中⼼心 ⼤大数据 平台 服务注册中 ⼼心 IAAS ⽆无线PaaS平 台 分布式 参数管理 算法平台 ⾦金融安全 平台 搜索平台 碰到的问题 ● SOA服务化架构导致的模块数量快速增⻓长与资源粒度的⽭矛盾 ● ⾃自动部署/扩容/缩容对资源交付速度的要求 ● 租户间安全隔离的需求 ● ⾃自定义组⺴⽹网需求 ● 兼容多种IAAS 11 ⺴⽹网商银⾏行 SAAS 神秘应⽤用 不可说 ……… ⾦金融云PaaS平台 ⾦金融级云管理 平台 应⽤用容器和 框架 实时监控分析 平台 分布式数据 和事务 可靠通讯平 台 服务治理 平台 分布式 调度中⼼心 ⼤大数据 平台 服务注册中 ⼼心 ⾦金融安全 平台 ⽆无线PaaS平 台 分布式 参数管理 算法平台 搜索平台 CAAS 物理机集群 阿⾥里云经典⺴⽹网 络IAAS 阿⾥里云VPC IAAS 其他IAAS 12 CAAS职责 ● 以微容器(docker)为载体，为⽤用户按需提供计算/存储/⺴⽹网络资源 ● 提⾼高交付速度与资源利⽤用率，降低资源粒度 ● 对PAAS屏蔽IAAS，兼容多种IAAS实现 ● 集群和应⽤用的标准化/⾃自动化/产品化 13 AntCAAS 架构 14 架构特点 ● 多个pool解决安全性 ● node可以是物理机或者虚拟机 ● zk⽤用以监控node和container（可以多个pool共享⼀一套zk，也可以⽤用etcd） ● scheduler 调度器，负载container的创建调度 ● manager，对master提供管控的http rest接⼝口 ● registry-proxy 保证⺴⽹网络联通性以及cache镜像数据，加速镜像下载 ● 在node内起cadvisor监控container 15 架构特点 16 主要⼯工作 17 ⺴⽹网络扩展 在docker默认的bridge/host/none/container4种⺴⽹网络模式的技术上，模拟 docker1.8的插件模型，扩展出vlan/vxlan两种drvier，正在实现vpc driver
 ● 
 vlan driver⽤用于在物理机集群上，需要在交换机上为container分配⼀一个独 ⽴立的vlan⺴⽹网段；
 
 
 vxlan driver⽤用于解决经典⺴⽹网络ECS集群的overlay⺴⽹网络问题，是⼀一个轻量级 的私有⺴⽹网络解决⽅方案；
 18 vlan driver ● 运维先创建⼀一个vlan
 cli --pool=pool2 network create myvlan －d vlan -l 10.209.164.0/22 -l Gateway=10.209.164.1
 ● 动态创建⼀一个container
 cli --pool=pool2 container create --publich-service=.myvlan -l ip=10.209.164.8 19 vlan ⺴⽹网络模型 下⼀一步优化 1 mac nat 2 arp proxy 20 vlan driver 进⼀一步优化 新问题
 交换机能纪录的mac地址和路由表项有限
 container的arp请求消耗了⼤大量交换机的cpu
 ● 
 
 基于ovs进⼀一步优化