Hadoop 开发工程师一般是做什么工作的?是做 Hadoop 的架构还是基于 Hadoop 的开发?求解。

2017-12-05 09:57:43 +08:00
 Kirto

如题,应届生的小疑问。

1934 次点击
所在节点    问与答
6 条回复
mringg
2017-12-05 10:51:29 +08:00
跑跑 hive,写写 mapreduce,spark job
Kirto
2017-12-05 11:34:44 +08:00
@mringg 诶,我本来以为是部署集群什么的。
dabney777
2017-12-05 11:36:00 +08:00
@Kirto 集群部署一次不就够了 天天部署谁受得了 前几年会写 mapreduce 的就可以进 这两年难一点
hugedata
2017-12-05 14:07:22 +08:00
Hadoop 开发也得懂一点儿运维。得了解体系的运行,包括作业调优。不过现在没啥人写 MR 了,大部分都是 spark sql 或者 Hive SQL,HBase 也大多数都用 Hive 映射后来管理了,不过对业务了解不多的话,前期设计表的时候可能不一定会最优,从而会导致后期使用数据的时候比较麻烦。
Kirto
2017-12-05 14:15:23 +08:00
@dabney777 做这方面发展怎么样吖?以后是做架构么?
paradoxs
2017-12-05 14:17:02 +08:00
@hugedata sparl sql 也不会天天写吧, 感觉活不多?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/412040

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX