分布式爬虫该如何通信呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2763 天前的主题，其中的信息可能已经有所发展或是发生改变。

一个 Master,N 个 Slave 。 Master 发送任务到 Slave,Slave 抓取之后如何将数据返回给 Master ?

5 条回复 • 2016-10-26 23:33:57 +08:00

billlee

2016-10-14 21:53:51 +08:00

任务队列

darkmatter

2016-10-14 21:55:35 +08:00

@billlee Slave 是通过队列获取任务的。

lecher

2016-10-15 00:03:44 +08:00 via Android

master 开更新内容的接口， slave 领取任务处理之后，将处理的数据通过调用接口的形式写入 master 数据库。

由 master 的接口处理相关任务的状态更新

cloudbeyond

2016-10-15 00:21:20 +08:00

至少两个队列嘛，一个控制面的，收发控制消息，另一个数据面的队列， slave 抓取处理完了扔数据队列里面， master 再从这里面捞

Powered

2016-10-26 23:33:57 +08:00 via Android