为什么 4g 或家庭宽带 IP 最适宜做爬虫代理

2019-07-25 20:33:48 +08:00
 jetpy
我们知道 IPV4 数量有限,因此全球各个国家对于手机或家庭宽带一般都是使用的 NAT 技术进行网络通信, 简而言之就是一个公网 IP 后边会对应很多个网络设备。

因此越是大的网站越不会轻易的 blog 一个 4g 或 IP 地址, 因为这将直接造成大量的用户无法访问它。

有的朋友可能在想怎样检测 IP 地址是家庭宽带或 4G 地址呢? 实际上这并不难, 提供 ip 地址查询服务的公司很多, 有些免费的网站甚至都可以做到,这其中就我使用经验而言 ipip.net 精度已经是极高了。

因此在我们的爬虫系统中应尽量采用 4g 或家庭宽带 IP 作为代理地址, 以提高程序的稳定性。
2093 次点击
所在节点    Python
1 条回复
alamak76
2019-07-26 10:56:07 +08:00
可以用 IP2Location. 如果是 MOB,那么就是 4G.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/586239

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX