请教分布式爬虫的思路

2017-10-21 21:04:02 +08:00
 ericgui

分布式爬虫是要共享一个 URL 池的么？

多台服务器的话，可以分布在全世界么？比如各地都买 vps

目前一般用什么语言写分布式爬虫？ PHP 能行么（一直都用 php 爬的，但都是小爬虫）？谢谢

有没有一个综合性的思路，谢谢

3210 次点击
所在节点    程序员
6 条回复
yrj
2017-10-21 21:07:40 +08:00
参考 pyspider
t1518968889
2017-10-21 21:07:51 +08:00
puppeteer
xielemon
2017-10-21 22:17:04 +08:00
scrapy-redis
hcnhcn012
2017-10-22 14:11:28 +08:00
scrapy-redis +1
SlipStupig
2017-10-23 00:29:13 +08:00
scrapy+etcd
rainnus
2017-10-23 09:42:17 +08:00
scrapy-redis + 2

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/399547

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX