2015-6-2 2015-6-2 CDN技术架构之道 sidneyyu(余子军) 八年磨一剑，腾讯CDN实现从静态加速到全面发展 接入第一个业务—— 腾讯网 腾讯CDN元年 •2007 游戏下载平台 动态加速平台全面发展、海外资源建设 逐步开放各大平台的加速能力 流媒体平台满足在线视频的需求 开放CDN能力 满足了游戏业务加速的需求 •2009 •2008 •2010 支撑了北京奥运海量业务需求 接入Qzone等UGC业务 •2011 腾讯云开放海外CDN节点 •2015 •2013 •2012 •2014 移动互联网CDN优化 小运营商的建设 带宽突破10Tb，加速节点400+ 400个节点、20TB带宽，每天都有超过5亿用户使用 与QQ、微信、QQ空间、腾讯视频享受同样的加速服务 •2015-6-2 5 What is CDN? • 什么是CDN？  通过分布在全球各地的机房为用户提供就近接入 CDN的作用 用之前 用之后 电信 访问 网通 慢！ 就近 访问 路途遥远，2分钟才到 访问带宽大 撑不住！ 速度像飞 一样 多次访 问 云内超快链路， 跨越地域和运营商 限制 一次回 源 隔省如隔山 大量访问都被 CDN节点抗了， 好轻松！ 腾讯CDN——概览 源服务器 流量调度 Gslb-Auto/直通车/一体化 Tencent Dns (GSLB) 边缘节点 DN S解 析 NWS/集群方案/SET模型 CDN节点 HTTP请求 就近接入 网络通讯 智能路由/冗余/调度 源站存储 托管源站/P2P分发/回源 立体监控 JS监控/拨测/Syncat 腾讯CDN——组件架构 服 务 层 应 用 层 系 统 层 静态 点播 直播 视频转码 图片转码 负载均衡 Web服务器 GSLB/Auto nws 直通车 QNF 一体化 下载 动态加速 质量监控 日志分析 监控/网管 JS/拨测 LogMan Syncat QGet PM BNM TLinux TCPA SynX 分发管理 SPM Flush 机房模型和业务架构 接口 设备 机房 链路 1Gbe 2/4G 10Gbe 10/20G 40Gbe 100G 200G+ ——更大，更快，更便宜 10 CDN调度的原理——DNS 广东电信 用户 广东电信 www.qq.com.? LDNS 119.147.15.13 北京联通 用户 www.qq.com.? 123.125.119.147 ww 11 9.1 北京联通 LDNS w. q q.c om . 47 ww 腾讯GSLB ? .15 .13 . m o .c q q w. ? 7 1 4 9.1 3 12 .1 .1 25 腾讯CDN-GSLB 用户测速系统 实时监测服务器状态 测速访问 域名解析 QQ用户 监测用户访问延迟 域名解析 调度决策模块 IDCN QQ用户 服务器状态检测系统 页面配置系统 CDN Server CDN Server DNS数据 各部门同事 IDC1 IDC2 综合运算 域名解析系统 CDN Server 腾讯CDN-GSLB调度  自主研发：高可控，易扩展；Edns-client-subnet supported；  双百万：单机性能百万级别，支持域名数量百万级别  稳定+安全：多点分布；自研高效防护防火墙；实时域名 解析异常及劫持监控  多样化的管理方式：API+Web portal  多样化的接入方式：标准的DNS协议 +HttpDNS+Custom protocol 静态内容加速——直通车 1. http://dl.qq.com/abc.exe 2. http 302 重定向 302重定向服务器 3. htt p:/ /11 2.2 31 .23 .12 /ab c.e xe 1. 文件分布策略 2. 防盗链策略 3. 服务器负载 4. 机房负载 为每个请求实时决策服务器资源 ——用户就近接入，提高质量 ——利用率控制，降低成本 ——灵活利用外包资源，提高突发应对能力 CDN 节点 CDN节点 腾讯CDN——内容分发 一个文件如何到达用户手中？ 编辑产生内容 推送 http://.../new.js 推送&等待分发完成 下载 P2P分发 源节点 按需拉取 • 小内容主要采用回源 • 大内容同时启用P2P分发方案 OC节点 下载 QQ用户 15 腾讯CDN——cache结构 内存 cache (LRU) 磁盘 cache(LRU) 回源拉取 mem 热 SATA/SSD 云存储 • 热门的文件放置在快速介质 • 冷门文件放置在便宜的介质 • 平衡速度和成本 8Gb / 64Gb 40%-90% 1Tb / 5Tb 30%-50% 1%-20% 冷 16 腾讯CDN——机房内集群方案 4层负载均衡 VIP 交换机 回源 通过TCP 5元组进行HASH 把链接均匀分配到NWS 直接由路由器进行负载均 衡，可靠性高 没有中间设备，扩容简单， 延迟低，并且单个IP的容 量大 7层负载均衡 根据URL一致性hash OC内集群自管理，简便运 维并提高可靠性 热点对象智能管理： 自动 发现热点对象并缓存至多 个服务器 17 腾讯CDN——NWS NWS/QNF Thread1 Thread2 ThreadN epoll epoll epoll hit miss MEM SLAB hit DiskTank Fwd Conn Pool 万兆机型设备的典型性能表现 ： miss 腾讯自研的高性能HTTP服务器 单进程多线程事件驱动模型 每个链接由独立线程处理，减少上 下文切换带来的开销 使用DiskTank（循环存储）取代 文件系统，减少IO开销。 支持文件分片，多盘并行 配置文件支持变量，条件，正则提 取等，灵活方便 提供了丰富的实时统计信息 Fwd EdgeCluster/Origin 网络：9.5Gbps/5w/25w/80w CPU：18% 腾讯CDN——DiskTank meta meta meta Loop_head /p/a.txt /q/b.zip … 内存 idx 1 2 3 4 5 DiskTank 替代OS的文件系统 对象循环存储，自然淘汰，避免 unlink 文件索引缓存至内存，304请求不 产生磁盘IO 支持大文件分片 避免ext3文件数过多造成性能低下 的问题 不同的对象共享fd，减少性能和内 存开销 支持多盘分布 19 腾讯CDN——Https支持 接入层设备 TCP握手 解压层设备 SSL握手 KeyServer 集群 RSADecrypt 支持HTTPs KeyServer集群降低CPU负载，有 效提高接入服务器吞吐量 采取硬件加速方案，性能更好，延 迟更低 接入和计算解耦，弹性扩容，敏捷 高效 接入服务器不必部署PrivateKey， 提高安全性 HTTP 交互 硬件单卡压缩能力是CPU单核的100倍 不同负载情况下延迟稳定