首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
python 如何搭建分布式爬虫呀
fdsfsdfsdf3334
·
2014-05-15 02:10:17 +08:00
· 3962 次点击
这是一个创建于 3666 天前的主题,其中的信息可能已经有所发展或是发生改变。
单机爬虫我已经会弄了
但是分布式不会弄
数据库是postgresql
在我想象中,分布式爬虫是这样的:
一个控制中心,控制所有爬虫,给他们分配任务,并得到爬虫返回的结果
我的疑问是,
问题1: 怎么实现,控制中心给每个爬虫比较平均的分配任务,用什么框架 什么算法 来实现?
问题2: 比如我有60个爬虫,他们怎么和控制中心通信 有什么框架 或者算法来实现吗
爬虫
分布式
控制中心
3 条回复
•
2014-05-21 12:41:16 +08:00
1
cdwyd
2014-05-15 08:27:11 +08:00
1
https://github.com/binux/pyspider
2
Altman
2014-05-15 09:13:50 +08:00
1
http://scrapy.org/
用这个吧
3
fdsfsdfsdf3334
OP
2014-05-21 12:41:16 +08:00
@
cdwyd
@
Altman
3q
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2494 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms ·
UTC 15:32
·
PVG 23:32
·
LAX 08:32
·
JFK 11:32
Developed with
CodeLauncher
♥ Do have faith in what you're doing.