分布式爬虫该如何通信呢？

[darkmatter]

一个 Master,N 个 Slave 。 Master 发送任务到 Slave,Slave 抓取之后如何将数据返回给 Master ?

[billlee]

任务队列

[darkmatter]

@billlee Slave 是通过队列获取任务的。

[lecher]

master 开更新内容的接口， slave 领取任务处理之后，将处理的数据通过调用接口的形式写入 master 数据库。

由 master 的接口处理相关任务的状态更新

[cloudbeyond]

至少两个队列嘛，一个控制面的，收发控制消息，另一个数据面的队列， slave 抓取处理完了扔数据队列里面， master 再从这里面捞

[Powered]

@lecher RPC