超大量域名 ip 解析及白名单对比,求优化思路

2022-01-10 11:18:19 +08:00
 Amaake
目前每天有大约千万级别的域名需要做解析,现在有以下几个难题

**1 、域名解析成 ip 。**
如果采用公司专线地址,估计跑 ping 或者 nslookup 几十万个解析公司网络就奔溃了。但是去买接口的话看了一下价格还是怕了(每天千万级别扛不住),想问一下解析这块有什么好的办法。

**2 、ip 分辨境内外及 CDN**
这个我本来想着是以 ip 归属地的形式去分辨,,但是看了一下好像没有特别全的 ip 段地址(如果有小伙伴能提供的也可以),而且 cdn 也是一个大问题,,,包括本地字符串的比对,这么大级别的量不知道一天能不能跑完。

**3 、域名及 ip 白名单对比**
千万级别域名和数万域名白名单对比
千万级别 ip 和数万 ip 白名单对比
这个是采用数据库的方式去比对还是写脚本直接读 txt 效率高,或者有没有更高效率的办法去对比,,,对比方式是模糊匹配(比如说白名单是 www.baidu.com,域名原始格式可能是 https://www.baidu.com/wenku/123123123
799 次点击
所在节点    问与答
1 条回复
Kinnice
2022-01-10 21:30:22 +08:00
1. 解析 ip ,租用一些云服务器,1M 带宽即可,内网带宽一般是 100-1000M ,分布式解析
2. 境内外直接有特别全的,例如
https://ip.cn/chnroutes.html
3. 原始格式处理先提取域名然后 hashmap

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/827259

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX