做爬虫做久了感觉都要学学安全方面的东西了,比如接口破签, app 脱壳,唉。。。。。

2018-06-23 15:53:14 +08:00
 linhanqiu

大家一起来说说,做爬虫以后的方向

7149 次点击
所在节点    Python
47 条回复
Phant0m
2018-06-23 16:04:54 +08:00
爬虫犯法。。。
Immortal
2018-06-23 16:07:33 +08:00
怎么还有人在说爬虫犯法..
qsnow6
2018-06-23 16:13:47 +08:00
爬虫往高了走都是逆向
H0TSp1RnG
2018-06-23 16:26:54 +08:00
除了这些 一共还要学哪些安全的东西
Mascdo
2018-06-23 16:32:23 +08:00
题主做爬虫多久了啊
silencefent
2018-06-23 17:14:23 +08:00
一年零六个月警告
crystone
2018-06-23 17:54:35 +08:00
往后走都是黑客技术啊
linhanqiu
2018-06-23 18:07:04 +08:00
@Phant0m 爬虫不犯法啊,只是把看得到的数据批量弄来罢了
linhanqiu
2018-06-23 18:07:30 +08:00
@qsnow6 对,以后估计都得是这样
linhanqiu
2018-06-23 18:08:55 +08:00
@Mascdo 做了一年多,做了很多反反爬的工作,也包括爬虫架构、数据处理等等,感觉现在需要在深层次提升一下自己了
est
2018-06-23 20:20:14 +08:00
我见过牛逼的爬虫都是直接 GUI 群控。。。。根本不需要逆向。
qiayue
2018-06-23 20:21:34 +08:00
你看得见的数据,作者不一定就想给你
SingeeKing
2018-06-23 20:23:44 +08:00
@est #11 效率低啊
est
2018-06-23 20:24:24 +08:00
@SingeeKing 写爬虫不到处都是 sleep 生怕别人给你封了。。。
linhanqiu
2018-06-23 20:26:29 +08:00
@qiayue 对啊,所以说要研究里面特定的东西,既然看得到,肯定会有方法拿到的,这是做爬虫的人生信条把。
jobtesting
2018-06-23 20:26:51 +08:00
反爬虫
linhanqiu
2018-06-23 20:28:27 +08:00
@est gui 群控的话不就是跟 web 端 chrome headless 打开一个网页一样耗资源耗时间
est
2018-06-23 20:32:10 +08:00
@linhanqiu 但是没办法啊。。。主要是别人改个协议,就要跟进。好麻烦。。
zgwjustice
2018-06-23 20:46:02 +08:00
@linhanqiu 看头条前 cto 因为爬虫被判刑了吗 就只是爬了头条的视频
linhanqiu
2018-06-23 20:47:01 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/465267

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX