外 传 不 得 可 许 术 息 技 信 仅 限 白 帽 子 会 议 内 部 审 核 使 用 ， 未 经 杭 州 邦 盛 金 融 流处理技术在事中 反欺诈领域的应用及实践 王新根 博士 杭州邦盛金融信息技术有限公司 外 传 议程 许 可 不 得 反欺诈技术现状 金 融 信 息 技 术 事中反欺诈的三大指标及传统流程 经 杭 州 邦 盛 OLAP领域的发展现状 核 使 用 ， 未 流处理技术应用在反欺诈领域的主要难点 会 议 内 部 审 邦盛流立方平台如何解决上述问题 限 白 帽 子 邦盛流立方平台在反欺诈及其他众多领域的案例分享 仅 1 简单的公司及团队介绍 不 得 外 传 反欺诈技术的演进路线 息 技 术 许 可 实时处 理 融 以事中实时的 管控为主 以异步的监 测或追踪 为主 提升客户体验 内 部 审 核 以事后的监察 或跟踪为主， 使 用 ， 未 经 杭 州 邦 盛 金 事后批 量分析 信 准实时 处理 限 白 帽 子 会 议 着重于模型的 发掘与确认 仅 2 传统的反欺诈技术体系仍然以数据库作为主要技术手段 外 传 事中反欺诈的三大技术指标 • 传统事中反欺诈的主要流程 息 技 术 许 可 不 得 • 事中反欺诈的三大指标 • 客户在同步等待 金 融 信 交易拦截 数据库查询 • 数据查询原始流水 行为分析 • 实时进行指标运算 规则匹配 • 所有规则比对 风险决策 • 综合决定执行策略 议 内 部 审 核 使 用 ， 未 经 杭 州 邦 盛 超低延时 (99.9%<100ms) 会 子 帽 白 (tps>10000) 限 非线性 超高并发 仅 3 流处理技术 • 逻辑先行 Data Warehouse Hadoop 金 融 信 Database 息 技 术 许 可 不 得 批处理技术 • 数据先行 外 传 数据分析处理发展（OLAP） • Acquisition • Storage • Access • 小数据量 • 低延时(几十 毫米) • 大数据量 • 超高延时(几 天，几十小 时) Streaming Processing • MapReduce • HDFS • Distributed • Incremental • Dynamic • Distributed • 大数据量 • 高延时(几小 时，几十分 钟) • 大数据量 • 低延时(几十 或几毫秒， 甚至<1ms) 限 白 帽 子 会 议 内 部 审 核 使 用 ， 未 经 杭 州 邦 盛 • ACID • SQL 仅 4 • 计数、求和、平均、 可 • JVM存储 VS 内存数 事件序列识别 许 算法需增量计算 其他问题 • 0 miss如何达成 4阶中心矩) • 排序、去重等问题 • 静态关联问题 • 跨数据源关联 • 大维度数据处理能力 信 • 长周期数据处理能力 融 金 盛 邦 州 杭 经 未 ， 用 使 核 审 部 • 偏度及峰度运算(3阶、 内 • 多副本一致性问题 准差) 议 (自平衡) • 波动计算(方差、标 会 • 高可用、高可扩展 等的支持 子 • 存储效率问题 • 事件的定义 • 事件序列增量识别 减、连续递增、递减 帽 • 指标结果需要动起来 • 连续统计、递增、递 白 • 合理的存储结构 最大、最小等算法 限 据库 VS 分布式缓存 息 技 术 指标的存储问题 不 得 外 传 流处理技术应用在反欺诈领域的主要问题 仅 5 • 如何跟时序结合 • (login>[,5s]>query >[,10s]>trans) 术 许 可 不 得 外 传 极速数据流处理平台 --- 使 用 ， 未 经 杭 州 邦 盛 金 融 信 息 技 实时 流处理 审 部 内 议 会 子 帽 白 单节点 30000 流水/秒 限 高可扩展 • 基于时间窗口移动的动态数据快速处理技术 (时序处理) 核 时效性 毫秒级 仅 6 • 基于事件驱动的模式识别技术(CEP) • 支持计数、求和、平均、最大、最小、方差、 标准差、K阶中心矩、连续、递增/递减、最大 连续递增/递减、唯一性判别、采集、过滤、 排序等多种分布式实时计算模型 不 得 外 传 流立方 VS Spark-Streaming 术 许 可 流立方(产品) Spark-Streaming 息 技 * 时间窗口移动 信 (流处理框架) 金 融 * 复杂计算模型 盛 * 完善的生态系统 州 邦 * 高可用分布式缓存 * 计算逻辑独立管理， 即刻上线 流立方 框架 产品 * 存储 支持 分布式缓存 * 计算逻辑 自行编写 独立管理 运行模式 主次+流转 对等+平行 白 概览 帽 子 Spark 限 对比项 会 议 内 部 审 核 使 用 ， 未 经 杭 * 流转式数据处理 仅 7 不 得 外 传 流立方 – 核心功能 术 许 可 流式 金 融 信 息 技 处理 杭 州 邦 盛 复杂 未 经 事件 高速 缓存 会 议 内 部 审 核 使 用 ， 流立方 复杂 时序 计算 处理 子 帽 白 限 仅 8 项目介绍 使 用 ， 未 经 杭 州 邦 盛 金 融 信 息 技 术 许 可 不 得 外 传 案例分享一 信用卡中心 邦盛”流立方”产品替 换信用卡中心原有数据 库处理模块，为FICO引 擎提供实时指标，解决 FICO引擎计算性能瓶颈 核 审 部 内 议 会 子 帽 白 限 仅 9 +1 问题。 直销银行 提供咨询、设备指纹、 数据服务、功能方案。 盛 金 融 信 可 息 技 术 监控商户 457万家 许 项目介绍 不 得 外 传 案例分享二 用 ， 未 经 杭 州 邦 监控POS 549万台 限 白 帽 子 监控日均交易 3000万笔 会 议 内 部 审 核 使 监控便民终端 214万台 仅 10 银联商务作为国内最大的线下第三方支 付公司，有着巨大的商户数量和海量的交 易数据。 目前银商已将核心交易系统与移动支付 系统的全量数据接入邦盛，由邦盛帮助银 商完成核心业务的风控，并卓有成效。 性能提升(准实时侦测延时<1s)，复杂规 则的执行。 业务系统 盛 金 融 信 息 技 术 许 可 不 得 外 传 流处理技术 – 实时报表/仪表盘 流处理引擎 经 杭 州 邦 反欺诈其他需求 缓存1 使 用 ， 未 • 机器学习 部 审 核 • 实时仪表盘 缓存2 限 白 帽 子 会 议 内 • 用户/商户评级 仅 11 缓存n 限 仅 议 会 子 帽 白 用 使 核 审 部 内 未 ， 盛 邦 州 杭 经 息 技 信 融 金 不 得 可 许 术 外 传 12 这些客户在使用流立方 限 仅 议 会 子 帽 白 用 使 核 审 部 内 未 ， 盛 邦 州 杭 经 THANKS 息 技 信 融 金 Q&A 不 得 可 许 术 外 传 流立方性能指标 可 不 得 外 传 14 术 息 技 推送 1200000 2.5 邦 盛 1084889 查询 融 信 查询 金 推送 流立方延时指标(毫秒) 许 流立方并发指标(TPS) 1.92 2 经 杭 州 1000000 1.5 1.43 使 用 666280 1.62 1.61 未 ， 800000 审 核 600000 部 议 内 345493 400000 1 301249 会 237590 子 0.5 0.19 白 78781 限 43789 帽 155616 200000 x1 x2 0.34 0.28 0 仅 0 0.26 x4 x8 x1 x2 x4 x8 注1：测试环境为8台PC Server。单台服务器配置为4个CPU(x6)，256G内存。 注2：同时进行16个指标的运算，4个维度；以及标准差、求和、平均、最大、最小、去重、事件序列等算法