有什么好用的爬虫程序？可以爬单个站点的

2015-06-08 09:29:10 +08:00
 dbfox
想把站点爬一遍，检查下 500 404 等错误，
收集下页面错误
2259 次点击
所在节点    问与答
4 条回复
Andy00
2015-06-08 09:36:19 +08:00
[web magic](http://webmagic.io)
用java开发的，不知道是否对你有帮助
wy315700
2015-06-08 09:36:22 +08:00
wget就可以啊
Andy00
2015-06-08 09:37:06 +08:00
。。。原来回复里不能用Markdown语法
网站这个
http://webmagic.io
wsbnd9
2015-06-08 16:59:36 +08:00
scrapy python 的一个爬虫框架

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/196830

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX