[awesome-crawler]爬虫资源大汇总

2016-10-10 19:38:50 +08:00
 brucedone

目前已经算是爬虫资源百花齐放的时候,不过关于各个语言的汇总就没有相应的汇总表,花了一点时间将自己用到的和各大群里推荐的框架或者库 收集,然后做了一个 awesome 系列,欢迎喜欢 spider 或者对这个有兴趣的朋友 fork or start 或者提 pr ,issue ~

awesome-crawler

4131 次点击
所在节点    Python
8 条回复
sinoandywong
2016-10-10 19:57:50 +08:00
知乎有人汇总 Python 爬虫了
Python 爬虫框架资源集合: https://zhuanlan.zhihu.com/p/22304295?refer=zimei
微博爬虫开源项目汇总大全: https://zhuanlan.zhihu.com/p/22339045?refer=zimei
Python 金融股票爬虫实战源码大全: https://zhuanlan.zhihu.com/p/22424416?refer=zimei
brucedone
2016-10-10 20:06:24 +08:00
@sinoandywong 感谢分享,基于 python 的有很多,我想更汇总不同语言的框架和资源
slysly759
2016-10-10 20:49:03 +08:00
嘿嘿(º﹃º )看到大神啦⊙▽⊙
scnace
2016-10-10 22:29:40 +08:00
go 有 go-spider 和 幽灵蛛 楼主可以加进去 。 幽灵蛛应该是比较重量级的爬虫了 啥都有。
hanzichi
2016-10-11 08:53:31 +08:00
以前写的一些初级 Node 爬虫代码 https://github.com/hanzichi/funny-node (逃
brucedone
2016-10-11 09:57:53 +08:00
@slysly759 - - 大神不要捧我的臭脚了,我就是一个资源收集与分享~
brucedone
2016-10-11 09:58:32 +08:00
@scnace 感谢你的 golang 资源分享,今天 update 一个新的版本上去
brucedone
2016-10-11 09:59:02 +08:00
@hanzichi 哇,这个可以收录到 demo 系列,我先标记一下,感谢你的分享~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/311698

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX