运维之“痛”并快乐着 --腾讯游戏运维实践&运维价值探索 Kem 201510@ShangHai 2015-10-15 2015-10-15 自我介绍 SP TBOSS 4 云梯服务团队助力游戏“品质”提升 十二年，专注游戏运维服务 支撑端游、手游、页游、电视游戏，300+ 业务 坚持四化理想，努力让运维工作不再苦逼，相信未来运维可以边喝咖啡边处理故障 5 云梯服务团队助力游戏“品质”提升 不确定性 幕后英雄 运作机制 6 云梯服务团队助力游戏“品质”提升 运维之“痛” 事务之痛 事务多、杂 现网环境多、变化快 如何通过好的流程、制度来优化 架构之痛 架构是稳定的根基 架构评估有什么特别的手段 好架构自己会说话 团队之痛 人是最关键的，但是人最容易出问题 团队成长方向 7 运维之“痛” 事务之痛 事务多、杂 现网环境多、变化快 如何通过好的流程、制度来优化 架构之痛 架构是稳定的根基 架构评估有什么特别的手段 好架构自己会说话 团队之痛 人是最关键的，但是人最容易出问题 团队成长方向 8 发布？变更？ 故障 自愈 9 云梯服务团队助力游戏“品质”提升 应用案例—— 故障自愈 10 云梯服务团队助力游戏“品质”提升 某一个游戏的案例效果 发布变更单据总量爆发式增长 操作运维工作量攀升 (2012年7月数据, 583单 VS 546单) 业务突发骤减 运维事故消失 (2012年7-12月数据, 0起） 11 云梯服务团队助力游戏“品质”提升 蓝鲸—持续集成 12 云梯服务团队助力游戏“品质”提升 腾讯游戏运营白皮书构成（1） 云梯服务团队助力游戏“品质”提升 腾讯游戏运营白皮书（2） Contacting 阶段 未接业务 信息收集 Evaluation 阶段 可运营规 范宣导 OGR1（运 营决策评 审） Preparatio n 阶段 业务接入 计划制定 可运营规 范推行 运营风险 评估 运维人员 选拔 业务接入 团队组建 业务接入 项目立项 Fullproduction 阶段 运营接入 评审 业务可运 营性验证 运营环境 设计 可用性设 计 阶段总结 Beta 阶段 ITIL流程及 电子流宣 导 服务支持 流程实施 SLA接入运 营度量平 台 正式运营 实战演习 正式运营 方案准备 QAQC交 接 Open Beta 阶段 OGR2（运 营决策评 审） Live 可用性 事件 问题 容量 变更 发布 客户 14 云梯服务团队助力游戏“品质”提升 腾讯游戏运营白皮书（3） 客户端 运行环境&性能目标 引擎开发工具及制作 pipeline 开发制作的规范 客户端关键技术 性能优化方案 优劣、风险 服务端 系统架构 客户端与服务器通信 游戏逻辑处理 游戏对局处理流程 C/S间处理逻辑 AI的实现方式，是否有使 用其他引擎或工具 业务运营 Server端运行环境信息 游戏模块 第三方软件 模块重要性介绍 数据规模与备份 运维及运营工具 LOG 过载保护 服务器性能 可靠性 15 云梯服务团队助力游戏“品质”提升 运维之“痛” 事务之痛 事务多、杂 现网环境多、变化快 如何通过好的流程、制度来优化 架构之痛 架构是稳定的根基 架构评估有什么特别的手段 好架构自己会说话 团队之痛 人是最关键的，但是人最容易出问题 团队成长方向 16 如何让好架构自己说话？ 演练 系统 主 备 数 据 平台 网 络 异 地 同 城 人 响 应 恢 复 17 云梯服务团队助力游戏“品质”提升 让好架构自己说话 18 云梯服务团队助力游戏“品质”提升 运维之“痛” 事务之痛 事务多、杂 现网环境多、变化快 如何通过好的流程、制度来优化 架构之痛 架构是稳定的根基 架构评估有什么特别的手段 好架构自己会说话 团队之痛 人是最关键的，但是人最容易出问题 团队成长方向 PLP，思考问题的方法同时也是系统设计的关键 架构  点（point） 数据 机器 性能 系统，模块，环节 精通“点”是份内的事情 体验 收入 运维  线（Line） 上下游的关联系统 熟悉线才能成为优 秀的运维人员 规划  面（Plat） 周边环境及资源 客户，规划实施 熟悉面，从优秀走向卓越 实施 干系人 客户 效益 20 云梯服务团队助力游戏“品质”提升