开发网络爬虫应该怎样选择爬虫框架？

2014 年 12 月 24 日
 briefcopy

看很多开发爬虫的都在纠结怎么选择爬虫框架，弄了个博文，就当在扯淡了。
http://blog.csdn.net/ajaxhu/article/details/42122461

5192 次点击
所在节点    编程
2 条回复
foresightyj
2015 年 10 月 16 日
写得不错。是原创？

我最了解的是 scrapy ，但是在 windows 下面使用遇到了不少坑（主要是改成使用 FIFODiskQueue 之后，也就是使用持久化的 BFS 而非默认的内存 DFS ）。前几天学习了一下 nutch ，只是试了一下命令行，还没有深入到二次开发。
cangbaotu
2018 年 3 月 26 日
推荐你试试神箭手云爬虫（ http://www.shenjian.io/） 最近很火的一个爬虫开发平台 在线用脚本开发爬虫

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/156334

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX