Kirto
V2EX  ›  问与答

Hadoop 开发工程师一般是做什么工作的?是做 Hadoop 的架构还是基于 Hadoop 的开发?求解。

  •  
  •   Kirto · Dec 5, 2017 · 2619 views
    This topic created in 3124 days ago, the information mentioned may be changed or developed.

    如题,应届生的小疑问。

    6 replies    2017-12-05 14:17:02 +08:00
    ming2050
        1
    ming2050  
       Dec 5, 2017
    跑跑 hive,写写 mapreduce,spark job
    Kirto
        2
    Kirto  
    OP
       Dec 5, 2017
    @mringg 诶,我本来以为是部署集群什么的。
    dabney777
        3
    dabney777  
       Dec 5, 2017
    @Kirto 集群部署一次不就够了 天天部署谁受得了 前几年会写 mapreduce 的就可以进 这两年难一点
    hugedata
        4
    hugedata  
       Dec 5, 2017
    Hadoop 开发也得懂一点儿运维。得了解体系的运行,包括作业调优。不过现在没啥人写 MR 了,大部分都是 spark sql 或者 Hive SQL,HBase 也大多数都用 Hive 映射后来管理了,不过对业务了解不多的话,前期设计表的时候可能不一定会最优,从而会导致后期使用数据的时候比较麻烦。
    Kirto
        5
    Kirto  
    OP
       Dec 5, 2017
    @dabney777 做这方面发展怎么样吖?以后是做架构么?
    paradoxs
        6
    paradoxs  
       Dec 5, 2017
    @hugedata sparl sql 也不会天天写吧, 感觉活不多?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5235 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 09:00 · PVG 17:00 · LAX 02:00 · JFK 05:00
    ♥ Do have faith in what you're doing.