“ ” @高春辉 · 2016.7 IP 库是什么？ 定义 互联网基于 IP 地址， 每个 IP 理论上都有其 物理位置以及各种标 签，为查询计，我们 需要这样一类数据库。 IP 库是什么？ 用户信息获取 广告精准定向投放 用途 流量行为分析 CDN / DNS / VPN 节点就近就快调度 IP 库有多少种？ 不同于 WHOIS 数据，IP 库没有所谓的官方数据，理论上 也不可能有。按精度区别，可分为城市级数据库或者区县级 以及街级数据库。以城市级为主流。 国外 MaxMind / IP2Location / D.E. / 其它 纯真 国内 新浪、淘宝、腾讯、百度 中国互联网广告行业 IP 库 IPIP.NET 为什么要单独维护一个，而不是用其它版本呢？ 数据积累初步 启动于 2013年 10 月 起源于 ECSHOP 时 代和对 CDN 方面的困惑 接近 200 家商 业客户（截至 2015年底） 2014 年 3 月 正式发布第一 个免费版， 2014 年 5 月 开始运营付费 版本。 2016 年 7 月， 客户数量 230+ 1 2 3 及时性问题 4 准确性问题 规范性问题 以 WHOIS、多个 1、描述不规范，一 IP 数据去掉非公网 既有专业性问题， IP 库投票为基础来 会北京，一会北京 IP，大概有 36 亿个 又有精力投入问题， 维护的话，很 市，如何破？ 需要维护。 兼职工作如何能破？ LOW，不直接，非 2、一会电信通、一 全球相关机房上万个， 常不准确。 会鹏博士、到底哪 相关公司上十万个。 个为准？ 变动是正常的，工作 量超大，你跟得上 否？ 持续性问题 “ipip.net 版本 ” “我们会严格的对 IP 数据进行审核与标注” “我们对 准确度 的要求高于 精准度 的要求” 请仔细思考 准确度 和 精准度 的区别! 如何维护 IP 库？ 首先是一个技术活 即使你想自己拼装一个库的话，至少你要会去抓取和解析拼装其它人的库。 从完全自行维护的角度，你需要懂 IP 地址的基础知识，你需要懂网络工程师的一些知识 （BGP、ASN、CIDR），还有语言和地理知识、省市区域这些难关。 长期是一个力气活 好吧，现在是 IPV4，未来是 IPV6…… “ 重点介绍 ipip.net 版本 ” 我们如何维护 IP 库？ 包括但不限于： 1 我们在全球的 330+ 个监测点，不断增加中； 2 自有或者其它可信任的数据来源； 3 全球 WHOIS / BGP / ASN / RADB 数据； 4 全球 Internet Exchange Point 数据； 5 自行维护的全球 rDNS 以及骨干网路由 IP 数据库； 6 运营商、客户、合作伙伴的反馈数据； 7 网友提交纠错的数据； 8 其它方式。 我们通过总结的一些方法通过程序或人工 方式进行 IP 数据的收集分析与审核入库 你需要知道的事情 IPV4 全部接近 43 亿个 IP。 实际上可以用于外网访问的在 36 亿左右。 BGP/AS 数据接近 78000 条 ， 实际投入使用的有 55000 条。 每天都有新的 AS 号和 IP 通过申请。 全球与此相关的公司应该有 200000+ 家公 司以上。 全球提供 IP 数据库的公司总体不到 100 家。 需要的知识（一） 网络知识 了解全球的网络情况； 了解全球的运营商情况； 了解全球的数据中心分布情况； 光缆、建设、链接与分布情况； Internet Exchange Point。 需要的知识（二） 地理知识与语言知识 洲级与国家知识 城市知识 各种语言的网站 各种代码、缩写、区号、时区、变更 等等，比你想象的要多一点点。 需要的知识（三） 网络测量知识 时延测量 网络知识 BGP 知识 安全知识 需要的能力（一） DevOps PHP、GO、C 服务器维护能力 全球 330+ 台云主机，80 台独立主机 还有专门用于收集和处理数据的独立主机 不断强化数据采集和挖掘的能力 自动化处理数据，人工确认和标注数据 需要的能力（二） 学习能力 这个事情，没有教程和文章告诉你如何做。 只有自行钻研一条路。 维护的难点？ 网络情况非常复杂： 1、卫星上网 / 省级出口； 2、VPN / NAT / MOBILE； 3、ANYCAST / BACKBONE； 4、BGP/路由器数据出错或伪造； 5、运营商的内网黑盒子； 6、就是不想告诉你。 IPIP.NET 数据分享（2016.7） 原始文本数据文件 提交 30000+ 次 IPIP.NET 网站代码 命令行与客户端代码 BGP 不重复数据量 HOST/RDNS 定义 文件 生成一次全球 ASN 相关数据文件的时间， 共 344000+ 行 20000+ 行 10000+ 行 9000+ 行。 10000+ 万行。 2 小时。*