请教各位 Python 爬虫工程师有什么好的转职方向吗？

[fank99]

小弟刚通过自学 python 找到一份爬虫工作，目前做了一个月了。
这一个月在摸清了工作后，自己写了简单的“框架”，每天就往里面填不同的 xpath 解析网页
要不就是用 scrapy，反正也是往里面塞 xpath，感觉如果继续下去对个人的技术水平提高也不大
而且爬虫也有一定的法律风险，未来想跳转到其他方向。

想学习一些新的技能，想请教各位大佬，应该学习一些什么技能比较好呢？

目前我的想法是：
1、python 后端的话，似乎是可以的，自己之前也写过一两个小网站，但市场需求似乎不是很多
2、大数据开发，这块并不十分了解，希望有大佬科普。
3、机器学习 唯一接触到的就是用 cnn 识别了验证码搭了个服务返回识别后的验证码，个人也比较感兴趣，但因为对数学和学历有较高的要求，而我是个渣三本不说，高数还挂过，不确定自己是否有能力
4、学习其他语言 java、Golang，做 web 后端。我明白只掌握 python 一门语言是不够的，但似乎学习一门新语言的学习曲线更陡峭，比较担心因此找不到工作或者不能在短期（ 6-12 个月）之内换工作，而且我自己更喜欢 python 一些。
5、继续做爬虫。看了下招聘网站，高端的爬虫还是要求很多的，做起来也比我现在更有意思一些，但仍然存在法律和就业面狭窄的风险

写的有点碎，感谢各位看完，排名分先后，请大家用力滋我。感谢

[collector]

我也是学习的 python，身边很多人都在用 python 做一些简单的数据分析，根据和他们的交流，他们工作的技术含量不是特别的高，但是目前招聘有提高要求的趋势，web 方面的需求不大，有个在 P2P 做过的，做 flask+数据分析来展示数据的平台，其他的都是不算太难的处理表格的，爬虫的说实话，也没有多少人在做，人在上海，希望和楼主多交流，python 市场还是有点小

[collector]

@qq976739120 前端现在不是培训班批量生产吗？请问 python 在杭州的行情如何？

[qq976739120]

@collector 我刚从上海来....来之前也觉得上海市场小,到了杭州发现上海好的多的多

[collector]

@qq976739120 我曾经想过要去杭州发展呢。。。看来 python 做主力还是差点啊，快要换工作了，压力好大

[la2la]

跟我现在的感觉一模一样，爬虫做多了没意思。简单的网站就是体力活，复杂的验证码涉及到机器学习搞不了。目前我打算 学习一下 java，走大数据路线，不知道是否可行。数据分析我也尝试过，发现知道如何建模，比如何使用 pandas 等这些工具更重要，有点烦

[lasuar]

@fank99 https://baike.baidu.com/item/大型分布式网站架构设计与实践 /15841699

[collector]

@la2la 涉及建模就贴近机器学习那边了，对算法和数学要求就高了，间接的对学历要求就高了。。我也打算往大数据发展的。。

[ksedz]

不建议转 web

可以考虑大数据、机器学习、转 golang
有机会的话转 Java、C++ 也行

[tikazyq]

@collector 爬虫可以做很多事情，但感觉做得深的话会转算法和后端

[la2la]

@collector 有没有什么学习路线什么的可以推荐一下

[collector]

@tikazyq 反爬手段越来越多也越来越高级，做到后面必然涉及到机器学习了，而且爬虫只是获取数据的方式，有了数据又要分析，这又要到数据分析了，所以最后爬虫还是要转的，我是这样觉得的

[collector]

@la2la 我没接触过大数据，java 也不懂，只是各种公众号存了很多的资料什么的，怎么开始我也很迷茫。。。

[NaVient]

欢迎成为运维开发

[fank99]

@qq976739120 谢谢，也考虑过 java。不过是不是 python 转 Golang 比 java 更顺滑一些？
@collector 人在成都，上海 Python web 应该比成都好找很多吧？
@la2la 同烦，苦恼
@lasuar 谢谢
@ksedz 可以具体说下不建议做 web 的原因吗？

[fank99]

@NaVient
@tt67wq
@DAPTX4869
@abb1513
感觉运维的学习路线更陡峭，环境是平常接触不到的东西，不知道是不是这样的？

[NaVient]

@fank99 #35 之前与你有一样的困惑，现在转做 DevOps 其实大多数时候还是开发，前后端一把梭，只是偏向于内部运维系统，在开发这种系统的时候慢慢学运维就会有感觉了。

[fank99]

@NaVient 能提供下你的学习路线之类的吗？

[SpiderXiantang]

Java 后端

[SpiderXiantang]

看我 ID 现在在上海做后端 。。。。

[lucays]

我工作一年半主要写写 scrapy, 其他的 django, flask 都做过还做过一点自然语言处理调包的项目…感觉不行爬虫太无聊，骑驴找马找了一个月才成功转了 web 后端…个人感觉自己还是比较失败的😔我还在上海…还找了这么久，boss 和拉勾很多公司一点都不靠谱