三年爬虫需要什么技能树?

2020-04-08 13:47:14 +08:00
 xiao38245

如题, 感觉爬虫知识很凌乱, 有什么系统的技能树借鉴一下吗 顺便, 如果想转产品经理的话, 困难吗

3522 次点击
所在节点    程序员
23 条回复
scukmh
2020-04-08 13:53:02 +08:00
三年爬虫经验:
1. 熟练使用 python 编写爬虫两年
2. 坐牢一年
zhanglp888
2020-04-08 13:56:29 +08:00
@scukmh 哈!感受了
renmu123
2020-04-08 14:03:10 +08:00
随便列举一点(我也不是干爬虫的):
1. 集群下载
2. app 逆向
3. js 逆向
4. js 解密
5. 不同验证码的破解方法
6. 各种反反爬的知识
lhx2008
2020-04-08 14:03:49 +08:00
爬虫好像要知道的东西不多,比较难的可能是调度架构,JS 分析,验证码识别,数据清洗之类的吧
wolfan
2020-04-08 14:04:52 +08:00
职业律师资格证书
zcfnc
2020-04-08 14:05:00 +08:00
不吃三年劳饭的程序员
不是一个好的爬虫产品经理
xiao38245
2020-04-08 14:33:33 +08:00
@scukmh 太草了
sakila
2020-04-08 14:47:19 +08:00
@scukmh 三年爬虫经验:
1. 熟练使用 python 编写爬虫两年
2. 坐牢一年
----
谢谢兄弟, 有被笑到
yingqi7
2020-04-08 14:51:14 +08:00
@scukmh 你想来华为上班吗
yinjy
2020-04-08 15:16:23 +08:00
看成三年爬树了
forgottencoast
2020-04-08 15:25:28 +08:00
吓的瑟瑟发抖。
幸好我写爬虫的时候还不流行坐牢。
hugedata
2020-04-08 16:15:56 +08:00
楼上说的职业律师资格证书和坐牢一年这些是备选,主要还是自己要多学习一些法律知识,打铁还需自身硬。一定要知法、懂法、守法。
murmur
2020-04-08 16:21:30 +08:00
现在的爬虫跟爬虫本身已经没多大关联了,首先你得有资源,包括机器和 IP,然后你要能逆向,各种与反扒对抗,最后你要有法律知识,不要越界被制裁
labulaka521
2020-04-08 16:23:34 +08:00
@renmu123 再加一条熟悉法律知识🐶
masker0817
2020-04-08 16:25:09 +08:00
会用脚捡肥皂?
wangyzj
2020-04-08 16:34:05 +08:00
高级一点逆向工程是必须的
yprisoner
2020-04-08 16:38:38 +08:00
一楼笑死哈
hmxxmh
2020-04-08 18:33:27 +08:00
@scukmh 坐牢时间越久,爬虫技术越强???
Damon154
2020-04-08 23:55:54 +08:00
@scukmh 牛逼牛逼
levelworm
2020-04-09 02:03:28 +08:00
@renmu123 感觉和网络安全有点像啊,可惜 js 不会。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/660425

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX