爬网站， url 只有 8 位是变动的。

2016-01-18 15:20:39 +08:00
 814084764

最近想爬一个网站， url 中只有 8 位决定了网页的内容。
这 8 位为小写字母和数字的混合。数学上算有 36^8 种可能性，大约是 282 万亿种组合。
每秒爬 20 次，也要一千多年才能爬完。。。。。

怎么爬？？

3244 次点击
所在节点    编程
22 条回复
est
2016-01-18 22:34:38 +08:00
@dong3580 搜索引擎 IP 白名单


@zpvip 这个好说。 https://support.google.com/webmasters/answer/80553?hl=en
eecjimmy
2016-02-13 12:10:25 +08:00
@est
新技能 get

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/251601

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX