请教各位 Python 爬虫工程师有什么好的转职方向吗？

[fank99]

小弟刚通过自学 python 找到一份爬虫工作，目前做了一个月了。
这一个月在摸清了工作后，自己写了简单的“框架”，每天就往里面填不同的 xpath 解析网页
要不就是用 scrapy，反正也是往里面塞 xpath，感觉如果继续下去对个人的技术水平提高也不大
而且爬虫也有一定的法律风险，未来想跳转到其他方向。

想学习一些新的技能，想请教各位大佬，应该学习一些什么技能比较好呢？

目前我的想法是：
1、python 后端的话，似乎是可以的，自己之前也写过一两个小网站，但市场需求似乎不是很多
2、大数据开发，这块并不十分了解，希望有大佬科普。
3、机器学习 唯一接触到的就是用 cnn 识别了验证码搭了个服务返回识别后的验证码，个人也比较感兴趣，但因为对数学和学历有较高的要求，而我是个渣三本不说，高数还挂过，不确定自己是否有能力
4、学习其他语言 java、Golang，做 web 后端。我明白只掌握 python 一门语言是不够的，但似乎学习一门新语言的学习曲线更陡峭，比较担心因此找不到工作或者不能在短期（ 6-12 个月）之内换工作，而且我自己更喜欢 python 一些。
5、继续做爬虫。看了下招聘网站，高端的爬虫还是要求很多的，做起来也比我现在更有意思一些，但仍然存在法律和就业面狭窄的风险

写的有点碎，感谢各位看完，排名分先后，请大家用力滋我。感谢

[lasuar]

既然你喜欢 Python，那何不做个高级 Pyer 呢；
如果你所在的城市有不少的 python 岗，那就把 django 玩透，再熟悉一下 mysql/redis/mongo，再看点架构设计文档找后端岗不是轻松吗。

[rogwan]

爬虫+数据分析的组合，还是前景广阔的。光爬回来，不会分析数据，也还欠缺了点。

[janxin]

大数据工程师呀

[fank99]

@lasuar 谢谢，请问架构设计具体指什么呢？是一套服务需要用到的各种技术吗？

@rogwan
@janxin
谢谢，请问大数据开发和数据分析是一回事吗？

[wersonliu9527]

我也是自学了，入职爬虫一年出头，中途也去面了几次后端。基本上都问 mysql 优化问题，大量数据时怎么处理。我说了些理论上的查表优化，接口数据缓存。基本上没下文。还在继续写 xpath 0.0

[andylsr]

把爬虫做成一个可扩展的系统呗~一个后台管理全部爬虫任务，基本功能：添加，暂停，删除爬虫，爬虫节点动态扩展，其中会涉及集群操作的很多知识~~

[SleipniR]

对 Python 开发来说，大数据现在一般指 Hadoop/HDFS/ElasticSearch/Kafka/Spark 这个系列的技能，数据分析指 Nympy/Scipy/Pandas/Matploitlib 这个系列的技能。

[fank99]

@wersonliu9527 握手

[fank99]

@SleipniR 谢谢，您提到的对我非常有帮助。事实上我也在用 ElasticSearch 将爬到的数据进行搜索

[fairyto2]

@SleipniR 数据分析更重要的是数学建模能力吧，那些只是工具，我会用 sql 会用 excel 也一样能完成任务，但是不会数学不行

[QQ2171775959]

这个是需要一个多 IP 和站群服务器来支撑的，那样子的话优化才能起到作用。

[binux]

去百度，google

[tt67wq]

成为一个光荣的运维狗

[BadReese]

转近战猎人

[araraloren]

转职可以考虑大数据师，技能多，全是 AOE 伤害，就是有点耗蓝

[abb1513]

成为一个光荣的运维狗 +1

[Takamine]

要么继续走爬虫到 BI 的路，要么转 Web 吧。
我比较推荐前者，诶嘿嘿诶嘿嘿。:rocket:

[DAPTX4869]

成为一个光荣的运维狗 +2

[tikazyq]

想要节省爬虫的编写时间，可以参考一下我的开源爬虫平台 Crawlab, https: // github.com/ tikazyq/crawlab

Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。

最近开发的可配置爬虫正好解决你配置爬虫的问题，1-3 分钟编写好一个可运行的爬虫。

[我是如何在 3 分钟内开发完一个爬虫的]( https: // juejin.im /post/5ceb4342f265da1bc8540660)

[qq976739120]

趁年轻,推荐转 java 或者前端 ----杭州 pyer 的忠告