2015-10-15 2015-10-15 环信社交大数据挑战和实践 环信大数据团队 演讲主题 系统功能和逻辑架构介绍 社交大数据模型 性能和扩展性 重要的坑点难点 6 我们正在造什么? 大数据分析引擎 • 关于数据的认 识和发现 环信 IM 系统 • 有关人类的社交 行为的数字化 Digital Data 用户界面 • 指标显示 • 目标 • 决策 • 行动 成功社交模型指标分析引擎 • 转换成社交指标 • 机器学习预测模型 7 关键技术挑战和技术要点  基于云计算的社交大数据分析工具；  支持过亿数据分析，趋势挖掘；  完美的水平扩展性能；  实时数据分析快速准确；  多租户系统；  全自动的决策支持系统；  提供多种可定制的机器学习算法，方便用户建立模型进行预测预警 8 系统业务功能逻辑架构 分析应用创建器 系统参数配置 实 时 数 据 批数据 流数据 获取 批数据 获取 数据获取 任务调度配置 数 据 清 洗 平台配置 App 聊天 分析 App 行为 分析 聊天群组 分析 内容主题 分析 系统调度 数据处理和分析 社交行为大数据分析 分析模型配置 机器学 习分析 模型 社交行 为分析 模型 分析模型 配置 App 客户 端 App 配置 端 Visualization 系统管理 端 界面 9 社交模型 – 功能概括和目标  社交模型涉及到300个以上的社交统计分析指标；  为智能化深度挖掘分析打下了良好的基础；  不同类型的App对应不同的数据分析模型；  客户可对自己的App模型进行定制化操作，得到最想要的分析结果 目标：清晰描述用户关系，深度挖掘App问题，划分用户圈子， 辨别用户质量 10 社交模型 – 社交指标分类简介 陌生人交友 短视频交友 功能 母婴类 像片交友 社交 内容 同城交友 游戏 故事小说 类 其他 新闻类 工具型 平台型 健康类 云生态类型 根据一个app类型，它的社交行为和 社交环境的发展阶段的不同，我们 为他们定义不同的社交指标模型， 帮助他们提升社交质量，最终拥有 一个成功的产品. 11 社交模型 – 社交实体关系及其状态 APP 群 主 活跃 新增 休眠 解散 消 息 群 组 用 户 活跃 新增 存留 潜水 退出 12 社交模型 – 新增流量分析指标构造 基础指标（用户） 休眠 基础指标 DAU MAU 活跃 高级指标 新增 APP 用户 存留 流失 新增用户首发IM时间 新增双发用户 基础指标（消息+新增用户） 新增用户发消息数 … 高级指标 消息 日新增用户 新增用户产生IM行为人数 … 新增用户发出的消息占 总消息数比例 新增用户发出消息周平 均值 … 挖掘级 新增用户交互回合数 新增用户有效回合数 … … 挖掘级 新增用户好友节点数 新增用户超级节点数 新增用户中发出1条消 息的用户数 新增用户中发出2-5条 消息的用户数 … 13 社交模型 –新增流量分析模型 基础指标 高级指标 挖掘级 DAU MAU 日新增用户 新增用户产生IM行 为人数 新增用户发消息数 … 新增用户首发IM时间 新增双发用户 新增用户发出的消息 占总消息数比例 新增用户发出消息周 平均值 新增用户中发出1条消息的用户 数 新增用户中发出2-5条消息的用 户数 新增用户IM流量时间分布图 新增用户好友节点数 新增用户超级节点数 新增用户交互回合数 新增用户无效回合数 新增用户有效回合数 … … 14 社交模型 – 数据挖掘型指标举例 新增用户交互 当日新增用户发出消息，被回复，为一个回合，求总数 回合数 （这是一个对数，多少对）。同一用户发送多条后得到 回复视为一个回合。 新增用户IM流 以时间为横轴，新增用户产生的流量为纵轴的折线图， 量时间分布图 精确到KB。 新增用户好友 相互有过IM行为的3个用户形成节点，其中包含至少一 节点 个新增用户的。 新增用户超级 相互有过IM行为的3个用户形成节点，其中包含至少一 个新增用户的，其他用户每周登录3次以上，周累计单人 节点 IM超过30条。 社交模型 – 规则引擎 日 规 则 新增用户活跃度不足 数据过滤 ：排除系统消息 并且 排除无效消息 新增用户数下降过 快 新增用户活跃度提 升 新增用户产生IM行为人数 /新增用户数< 5% 或者 新增用户发出的消息占总消息数比例 < 5% 或者 新增用户发出消息周平均值 < 5000 或者 本日新增用户产生IM行为人数 < 昨日新增用户 产生IM行为人数 / 2 新增用户流失过快 月 规 则 实 时 规 则 月规则一 月规则二 实时规则一 实时规则二 如果规则满足则 ： 报警 给分 社交模型 – 社交指标分析逻辑架构 17 社交模型 – 指标计算组件执行序列 初始化 模型 载入 模型 解析 生成 计算 顺序 计算 初始 化 指标计算 数据 源 过滤 器 指标 计算 规则 执行 结果 保存 18 社交模型 – 机器学习模型  目标：智能化社交模型  方法：大数据+计算能力+社交模型+高效算法  问题：  分类问题. 用户，群组行为分类  算法：有监督/无监督/半监督分类，聚类算法  模型例子：朴素贝叶斯分类模型（比如预测一个新增用户将来活跃与否）  关键绩效指标相关的预估问题：活跃率，新增率，存留率，流失率，解散率 （群组）  算法：各类回归算法例如logistic regression, Cox regression  模型例子：用户流失风险模型，群组解散风险模型 19 社交模型 – 机器学习组件执行序列 计算初始 化 初始化 模型载入 模型解析 生成计算顺序 模型训练 训练数据 过滤器 模型训练 保存模型 模型执行 数据源 过滤器 模型应用 结果保存 数据漂移校验 数据源 过滤器 漂移计算 结果保存 模型质量校验 数据源 过滤器 质量校验 结果保存 数据审计 数据源 过滤器 审计计算 结果保存 20 社交模型 - 任务调度 启动 基础任务流 App2任务流 + App1任务流 任务2 任务1 任务3 基础任务流完成 结束