看到一大波 Java 在转大数据，唯有我倒着走?

[comsweetcs]

前言

越来越多的 Java 后端转来搞大数据了，只有我倒着走，要回去搞后端嘛？ 个人感觉大数据开发真的没啥意思，最有意思和有价值的工作在于机器学习，奈何能力有限。 说下对于大数据开发我的看法，首先说下这个类别岗位的主要意义，然后谈下工种分类。

大数据开发的价值

大数据开发的价值个人认为主要是为了给机器学习提供数据服务支撑，通俗点说就是让搞机器学习的同学 能更好的利用数据，保证数据的丰富性、准确性。

大数据开发的工种

大数据开发在我看来主要分为两个工种，一个是搞平台化开发、一个是面向业务的数据仓库开发。

• 平台化开发岗 主要负责数据的采集、数据的治理、保证数据落到数仓过程中数据质量、保证数据的易用、易查。 主要工作内容就是运维、搭建 Hadoop 这些大数据程序、编写少量的代码。
• 数仓开发岗位 主要负责数据仓库的构建，像运营、产品、机器学习人员提供数据。主要工作内容就是写 SQL 、写脚本跑 SQL 。

我的一些感悟

• 可能我做得不够深，感觉前者和业务没多少关系，很容易陷入尴尬的局面，像个运维小哥。后者整天在撤 SQL，真是心累。
• 大数据类的大多数工作对编码要求比较低，而且真有些代码也特别少。
• 现在觉得还是后端开发有意思，却有一大波人要转来搞大数据。

[V3EXhayongma]

@la2la 兄弟，python 搞大数据的岗位多吗？薪水怎样啊？

[zzzhen]

啊这

[zzzhen]

在转大数据，看到这个心里一凉。。。

[DamonLin]

我的同事之前就是学大数据的，跟我说大数据确实是 sql boy，不过人家原生的 sql 是写得真的 6

[comsweetcs]

@DamonLin 😀sql boy，sql 再不 6，还岬啥饭

[Dragonphy]

有没有具体的大数据开发岗啊，不会真主要内容是运维吧，我还不如去做 devops 呢

[comsweetcs]

@Dragonphy 也有专门搞具体框架研究得，比如 HBase，要研究得很深，基本上就是 DBA……。这种一般大厂才养得起……。大多数职位就是我上面说的两种。

[dswyzx]

面向工资编程，就一目了然心无旁骛努力搬砖建设四个现代化

[neetrorschach]

正在某鞋厂用 talend 做数据质量分析，快疯了。他们的 HBase 还老报错。

[comsweetcs]

@neetrorschach 哈哈哈哈😂，那是真苦。

[comsweetcs]

@dswyzx 那工资要是降了，你是不是要换岗咯😂

[mohulai]

工作需要看过一段时间机器学习，挫败感很强，工作能做，可一想到要出类拔萃就要很强的数学功底，对我来说遥不可及，就很失落，没有做后端的那种动力。

[Rexxar]

@mohulai 看到那么多人西瓜书之类的数学原理讨论起来头头是道，我就知道我不是这块料。

[WalkingEraser]

游戏 boy 还想出来当 Java crud boy，有点围城啊

[dayeye2006199]

第一个平台开发总结的有点片面，有很多数据平台开发工程师其实是 infrastructure 工程师，魔改和部署各种开源工具，或者搭建自己的数据平台解决方案。例如，拓展数据查询引擎的功能，spark, presto，拓展和运营工作流 scheduler，搭建数据发现平台啊什么的。都是比较硬核的工程师工作。

第二种其实有点像数据工程师 data engineer，的确 SQL 是主要技能了，可能还包括写一些 pipeline

[whasyt]

大数据开发 = sql boy 坐实了，搭好框架就是 sql 脚本一把梭

[comsweetcs]

@dayeye2006199 稳定了后还不是运维。我们公司搭建 kafka 的天天背着电脑，聚会都背着。警报电话一来，就得处理，你觉得这是运维吗😅

[wudalang123]

大数据现在赚钱啊， 什么赚钱搞什么，java 就是个工具，早晚会过时

[NerverLibis]

来一起转运维，背着小书包，睡在恒温恒湿的机房，美滋滋摸鱼。

[fewok]

还有一个方案，我就打算去搞 golang，云原生去