Home
Sign Up
Sign In
V2EX
›
问与答
Hadoop 开发工程师一般是做什么工作的?是做 Hadoop 的架构还是基于 Hadoop 的开发?求解。
Kirto
·
Dec 5, 2017
· 2931 views
This topic created in 3273 days ago, the information mentioned may be changed or developed.
如题,应届生的小疑问。
hadoop
求解
开发
应届
6 replies
•
2017-12-05 14:17:02 +08:00
ming2050
Dec 5, 2017
1
跑跑 hive,写写 mapreduce,spark job
Kirto
OP
Dec 5, 2017
2
@
mringg
诶,我本来以为是部署集群什么的。
dabney777
Dec 5, 2017
3
@
Kirto
集群部署一次不就够了 天天部署谁受得了 前几年会写 mapreduce 的就可以进 这两年难一点
hugedata
Dec 5, 2017
4
Hadoop 开发也得懂一点儿运维。得了解体系的运行,包括作业调优。不过现在没啥人写 MR 了,大部分都是 spark sql 或者 Hive SQL,HBase 也大多数都用 Hive 映射后来管理了,不过对业务了解不多的话,前期设计表的时候可能不一定会最优,从而会导致后期使用数据的时候比较麻烦。
Kirto
OP
Dec 5, 2017
5
@
dabney777
做这方面发展怎么样吖?以后是做架构么?
paradoxs
Dec 5, 2017
6
@
hugedata
sparl sql 也不会天天写吧, 感觉活不多?
About
·
Help
·
Advertise
·
Blog
·
API
·
FAQ
·
Privacy
·
Solana
·
996 Online
Highest 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 27ms ·
UTC 23:25
·
PVG 07:25
·
LAX 15:25
·
JFK 18:25
♥ Do have faith in what you're doing.
❯