最近想开个 github 的 Organizations https://github.com/AntiCrawlerSolution 是关于各种反爬的解决方案

2018-11-28 11:00:42 +08:00
 Lateautumn

同题,之所以想开这个 organizations 是因为 1.因为有很多网站的反爬手段都很类似,把这些反爬手段收集起来能够给做爬虫的兄弟们一些借鉴。 2.爬虫本身有时候是很繁琐的一件事情,在 api,网页,源码中寻找数据,所以希望开源一些实际生产环境的解决方案让大家使用 3.爬虫这个岗位确实很有挑战性,大家也可以谈谈自己爬过的艰难的网站。

来吧,留下你的 github 名,加入我们!

3546 次点击
所在节点    Python
38 条回复
CharlieBrown
2018-11-28 11:57:09 +08:00
37Y37
2018-11-28 13:24:51 +08:00
乱爬数据不是违法的么^-^
Lateautumn
2018-11-28 14:57:02 +08:00
@37Y37 这个应该这么说,我们只是交流想法,具体爬的话不是得对应到具体人,具体公司吗,这个我们就不管了,大家都是为了技术嘛
Lateautumn
2018-11-28 14:57:10 +08:00
@CharlieBrown 好的,
Lateautumn
2018-11-28 15:01:15 +08:00
@CharlieBrown 老哥,已经邀请了,点击这个网址接受就好了 https://github.com/AntiCrawlerSolution
Les1ie
2018-11-28 15:51:06 +08:00
est
2018-11-28 15:56:25 +08:00
反扒还需要手段?谁爬就报警。
dezhou9
2018-11-28 15:58:19 +08:00
爬虫组干过俩月的路过
Lateautumn
2018-11-28 17:22:03 +08:00
这个 github 之前也关注过,确实很优秀,不过我觉得还是内容比较少,一些方法也是比较旧了,所以希望有个 organizations 来让大家更加能够及时获取这些前沿的反爬手段以及对应的解决方案
Lateautumn
2018-11-28 17:22:13 +08:00
@est 老哥牛比阿
Lateautumn
2018-11-28 17:22:28 +08:00
@dezhou9 兄弟什么方向的
ooh
2018-11-28 18:24:00 +08:00
内容图片输出即可
andylsr
2018-11-28 18:36:50 +08:00
andylsr~常年爬数据~
Lateautumn
2018-11-28 20:52:45 +08:00
@andylsr 老哥,已发
Lateautumn
2018-11-28 20:53:04 +08:00
@ooh ???
Nick2VIPUser
2018-11-28 20:59:48 +08:00
nickliqian
freakxx
2018-11-28 21:50:28 +08:00
chrisguox
Sparetire
2018-11-28 22:00:34 +08:00
https://github.com/ta7sudan
我贡献一个自己写的前端反调试的库, 也许和反爬有那么点关系...
https://github.com/ta7sudan/secan
zsl199512101234
2018-11-28 22:50:12 +08:00
https://github.com/PinoZhou 在公司写爬虫,主要是 java 爬虫,python 也会点,希望加入一起学习
stardiviner
2018-11-29 09:09:09 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/512238

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX