毕业快两年了,从事大数据方面工作,现在很迷茫,求大佬指点

2018-09-27 16:33:27 +08:00
 vowers
普通二本本科毕业,本来是信息安全专业,本来是很喜欢安全行业,但同样也热衷大数据,毕业还是先找到了大数据方面的工作(非北上广深)。

现在对大数据平台有一定了解,自己搭建维过也护集群(主要是用 ambari 平台),对 Hadoop 平台、Hbase、redis、kafka ……都有用过但说不上熟悉,主要是用 spark 来处理分析一些数据,所以学习了 Scala,但还是主要用 python (本科阶段就在写所以顺手),有一定数据基础吧,毕竟大学里概率论、离散数学、信息论等等基础的数学理论还是凑合吧(信息安全专业的好处就是计算机相关课程都学了一遍,而且密码学所以数学也要求不低),有一段时间在做时间序列的预测分析等

但是后来在公司里,自己大数据方面的技术就再没怎么长进了,大部分时间都在维护集群、写爬虫、写接口等等琐碎的事,曾经看过一篇 基于深度学习的城市网格人流预测 其实很想模仿学习一下,但一方面卡住了不知道自己从哪里入手,另一方面公司(小团队)琐碎事情太多也没办法专心搞,其实自己很是很想学习机器学习方面的,但也不知道怎么开始了。。。

毕业快两年了,,,准备离职了,但是都不知道下一份工作该怎么办,安全相关早被我落下,大数据其实也没精通啥,啥都是了解但也没有哪个特别熟悉精通,感觉自己净写了一年多各种 python 爬虫接口什么的对 python 其实帮助也不大。。。

各位大佬,我还是想从事大数据方面工作,很想去大公司里学习一下,发现自己真的技术太差了,不知道我下来该怎么走啊。。。实在有点烦了
9351 次点击
所在节点    职场话题
40 条回复
hiddendeerer
2018-09-28 09:46:57 +08:00
@godbmw 我是做 WEB 建站的,我还想着做安全大数据方面,感觉比较高端,工薪也好提,你这反而跟我倒着来了
vowers
2018-09-28 09:48:41 +08:00
@enaxm 也算是机缘巧合,毕业时候想着先找到哪方面工作就干哪方面了,有家很想去的安全团队没能过面,就开始干大数据了,虽然还是很喜欢大学时候瞎捣鼓安全方面,但既然做了这方面了应该不会再回头搞安全了
vowers
2018-09-28 09:52:37 +08:00
@hiddendeerer em。。。其实安全大数据方向挺有趣的,我也琢磨琢磨。不过 web 应该不会搞,顶多是个人兴趣
anthow
2018-09-28 10:28:00 +08:00
为什么我的关注点在毕业“快两年",不应该是两年多么~
vowers
2018-09-28 10:45:23 +08:00
@anthow 17 届毕业的啊。。。
LxkLxkLxk
2018-09-28 14:08:04 +08:00
@s3040608090 加油,明年一起考研!
wqzjk393
2018-09-29 15:18:43 +08:00
1、集群搭建和调优,感觉需求大,但是感觉更像是运维
2、爬虫方向,有不少公司有专门的爬虫工程师,需要很强的反反爬虫能力
3、数据分析挖掘方向,就机器学习这些,需要很强的数学能力,最好考研
wqzjk393
2018-09-29 15:24:46 +08:00
还有数据分析这个,我感觉这个方向的未来基本上不是成了产品经理,就是成立数据挖掘算法方向的工程师或者是数据产品研发方向的。纯数据分析估计没啥意思,我们公司基本上进来的分析工程师,但是内部培训都是往挖掘还有机器学习方向培养的。
vowers
2018-09-29 17:04:59 +08:00
@wqzjk393 谢谢,我也是觉得需要主要往数据挖局和机器学习方面研究可能会更好
cirton
2018-09-29 17:44:07 +08:00
建议楼主想好要做什么,然后就赶紧走。

我接触大数据,也快四年了,做过集群部署和调优,写过接口,shell,java,python 都用,还做过 hive 的离线处理,kafka+spark 流实时处理等等,做这么多的后果就是最后一样都不精。

当时没觉得怎样,后来出来找工作的时候就发现问题了。什么都了解,什么都不精,稍微问的深入一些,就不懂了。最后还被面试官评定为基础不好。。

做技术还是要专注一些的好,反正我现在是后悔死了。
vowers
2018-09-29 17:56:50 +08:00
@cirton 我也是越来越感觉到了,会的东西不少,可基本都停留在会用,确实我也需要抓住一个方向深入了
qq9808
2018-09-30 09:51:01 +08:00
我是 java 开发的,目前也在自学大数据呢,想转大数据
BQsummer
2018-09-30 17:01:24 +08:00
@vowers 面试都是要问底层的,这种东西不是说一个好公司,一个好项目就能学到的,都是得自己抽时间看源码看书的。
brucewuio
2018-09-30 17:05:50 +08:00
怎么说呢 看了很多相关的帖子 很多和楼主类似的情况 我只能说现在的大学,培训之类的都是为了满足社会,或者说国家需求而"教育", 不是真正的教育。

我看了下 MIT 那些课程和教材 很是注重培养科学思维,只能说国情不一样。

至于建议,我给不出什么,我就说说我自己的情况吧,我目前在写 java,大多数都是些业务逻辑,有小部分设计分布式,总体来说没什么难度,我感觉还挺舒服的,我自己下班就学学其他,比如 Go 写写我需要的东西,看看原理的书籍,很有趣。

我觉得还是自己怎么看,毕竟很多东西不可兼得。
vowers
2018-09-30 21:44:44 +08:00
@brucewuio 谢谢 ,很有道理,不在于那条路好,就看我怎么活
wjx1993
2018-10-01 18:24:52 +08:00
和楼主经历的有点相似,楼主后面打算怎么办?顺便求指点迷津
onyourroad
2018-10-02 08:01:55 +08:00
那你不如考个好的学校研究生了。
user919lx
2018-10-05 04:59:34 +08:00
@vowers

我自己也是做大数据方面的工作,现在是一名数据工程师。我对未来的方向还是比较清晰的,我的目标就是深耕数据工程这个领域,不拘泥于技术(当然,主流技术是要学习的,只是不过分深究细节),把重点放在建立数据体系上,总的来说,就是让数据变得更易使用。

首先推荐你看一篇文章,《数据工程师的崛起》,Airflow 的开发者写的,大数据文摘翻译。流传比较广,随便搜一下就有了。这篇文章对数据工程师的工作做了比较全面的总结,可以帮助你梳理一下数据工程的整体概况,对未来的方向会有更清晰的认识。

然后如果找不到方向,建议学习一下数据仓库的相关知识。就我自己的经验来看,有数据仓库项目经验的工程师,在求职时真的非常有优势。很多公司都开始意识到数据仓库的重要性了,都想建数据仓库,但懂得怎么搞的人真的不多,能把大数据和传统数仓结合起来的人就更少了。这东西投入大,见效慢,风险高。我之前的公司,就有这种情况:大老板专门成立一个部门搞数据仓库,但搞了几个月都没什么产出,最后又解散掉了。

另外,可以去买一本阿里数据部出的《大数据之路》看一下。这本书讲的东西都比较浅,但内容全面,数据工程涉及的方方面面都有提及,你完全可以选其中比较感兴趣的部分深入研究。

如果打算在这个行业里继续发展,还是考虑到一线城市去,到有数据氛围的公司去。这些公司,一则对数据比较重视,使用的场景也多,相应地踩坑也多,有很多可以学习的相关经验。二则数据量大,种类丰富,需求多样,对你自己是挑战也是提升自我的机会。三则数据分析师比较优秀,你的工作的价值会得到体现(数据仓库建得再好,也得有人用才有意义)

就我自己了解的情况来看。国内有名的大公司里面,阿里和美团在这方面应该是做得最好的公司了,他们有非常强大的工程和分析团队,还有自己开发的各种系统,满足方方面面的数据需求。
godbmw
2018-10-06 19:32:19 +08:00
@enaxm 我是跟着兴趣走。而且是学生,所以不需要有考虑工资、待遇那么多的考量。
qq9808
2018-10-08 10:00:53 +08:00
@user919lx 老哥 可以加个好友交流一下吗?我是做 java web 开发的 最近都在自学大数据想往这方面转 想向你学习一下

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/493216

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX