平时不怎么关注爬虫，最近业务上有需求爬取用户好评和差评，数据量估算非常大，具体内容很刑，所以细节就不表了。
想问一下有没有好用的分布式框架，大概想了一下需求是建立一个多节点的主从网络，然后可以发布任务并监督从节点爬取并回收结果，大概这样就行了。。
想了想就算只做基础需求，自己撸的话大半天也过去了，来万能的 v2 问问有没有能开箱即用的
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.