首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Coding
V2EX  ›  程序员

最近正准备转型大数据方向,很好奇大数据码农们的日常工作都是干什么的?

  •  2
     
  •   sunzhenyucn · 2018-06-26 10:24:43 +08:00 · 6209 次点击
    这是一个创建于 534 天前的主题,其中的信息可能已经有所发展或是发生改变。

    不太了解,对大数据方向挺感兴趣的,
    求各位在大数据领域进行讨生活的各位大佬给解解惑

    37 回复  |  直到 2018-06-27 08:56:22 +08:00
        1
    dif   2018-06-26 10:39:59 +08:00   ♥ 1
    刷 v2ex,看知乎,出去吹牛皮。。
        2
    sunzhenyucn   2018-06-26 10:40:56 +08:00
    @dif lol,不会吧,这么闲的吗??
        3
    loryyang   2018-06-26 10:43:47 +08:00   ♥ 1
    工程方向就是维护下一些框架,做些升级,然后偏业务的就是开发业务相关逻辑,出个报表,出个数据什么的
    或者给机器学习跑点数据和特征
        4
    sunzhenyucn   2018-06-26 10:47:12 +08:00
    @loryyang 万分感谢🙏
        5
    tingyunsay   2018-06-26 10:54:37 +08:00   ♥ 1
    写他么的 hql(;´༎ຶД༎ຶ`)
        6
    mkstring   2018-06-26 10:59:46 +08:00   ♥ 2
    写大量的 SQL,偶尔写 MR
        7
    VoidChen   2018-06-26 11:00:22 +08:00
    我只说我做的。。。搞下集群,部署搭建和问题检查什么的,然后跟某重本合作拿来一些业务类型的算法去做实现,优化校准,还有就是偶尔遇到一些问题(内存不够或者计算不够快或者统计数量大),去看开源拆算法搞来用,杂七杂八的。其实跟写 java 差不多啦,可能是因为毕业半年多,学的用的还比较浅(不过用的全,常用的基本都用过了)
        8
    wwek   2018-06-26 11:08:52 +08:00
    数据清洗 结构化 ETL 写 HQL
        9
    sunzhenyucn   2018-06-26 11:38:39 +08:00
    @tingyunsay
    @mkstring
    @VoidChen
    @wwek
    谢谢各位大佬
        10
    liyer   2018-06-26 11:45:03 +08:00
    爬数据,入库,去噪,打标签,分析
        11
    deepreader   2018-06-26 12:33:05 +08:00
    数据清理,做 PPT。
        12
    wtf94666   2018-06-26 13:03:20 +08:00 via Android
    我是设计 我感觉我公司的工程师们都在刷蔚蓝航线
        13
    sudoz   2018-06-26 13:05:46 +08:00
    总而言之就是没什么意思
        14
    grewer   2018-06-26 13:48:47 +08:00
    @wtf94666 舰 B 么
        15
    SuperMild   2018-06-26 13:53:34 +08:00
    据说就是洗数据……不管哪个领域,都是站在高位置的人才有差别,底下全是搬砖,体力活。
        16
    zynlp   2018-06-26 13:53:45 +08:00 via iPhone
    纳尼?只有我这么忙吗,只能蹲坑的时候刷下 v2😭
    搞了一个礼拜的 cuda 了,整个人都粗大了
        17
    WXG999   2018-06-26 14:00:28 +08:00
    @VoidChen 敢问大佬是本科还是硕士毕业?
        18
    VoidChen   2018-06-26 14:12:20 +08:00
    @WXG999 不是大佬,二本毕业。。让你失望了😭
        19
    VoidChen   2018-06-26 14:25:17 +08:00
    回复的时候看了下,怎么好像基本都是数据清洗?我主要做的是 storm 流处理,基础的数据清洗就只是在源头那里架一个 bolt 过滤掉就好了(包括一些修正),怎么好像不太一样?朋友里面没有做大数据的,所以不是很清楚情况,借个楼问下。。。万一以后跳槽别人一问不知道就不好了😭
        20
    WXG999   2018-06-26 14:25:33 +08:00
    @VoidChen 好好工作以后都是大佬😭
        21
    chi1st   2018-06-26 14:27:44 +08:00
    写后端。。。
        22
    lastpass   2018-06-26 14:29:19 +08:00 via Android
    清洗数据,造轮子。
        23
    ren2881971   2018-06-26 14:29:23 +08:00   ♥ 1
    坐我旁边的就是搞数据的,各种 ETL 抽取、清洗 、转换 出报表。
    自从有了他,报表错误的锅再也不是我背了。。。
        24
    jasonchen168   2018-06-26 14:33:30 +08:00
    怎么转的啊?必备基本技能是什么
        25
    applehater   2018-06-26 15:54:22 +08:00 via iPhone
    比一般业务少了“改”只有“增删查”。
        26
    zhusimaji   2018-06-26 15:56:53 +08:00
    sql 清洗数据---构造模型---spark 计算
        27
    lius931115   2018-06-26 16:05:53 +08:00
    写 spark SQL 和 spark Streaming 的多吗? 各位大佬们!
        28
    hackpro   2018-06-26 16:38:18 +08:00
    60%以上的时间在 Data Cleaning 俗称 Data Augument
        29
    bk201   2018-06-26 17:06:05 +08:00   ♥ 1
    @applehater 你这理解有问题,和 CURD 无关,大多数都是统计计算,非要关联的话就是查
        30
    superbiger   2018-06-26 17:34:43 +08:00
    大量 sql,很多正则,说是计算全是过滤
        31
    arctanx   2018-06-26 17:36:33 +08:00
    爬虫->mongodb->elasticsearch->网站后端

    ...我都不知道我算不算大数据码农
        32
    defunct9   2018-06-26 17:41:53 +08:00
    吃饭,睡觉,打豆豆
        33
    southsala   2018-06-26 18:03:46 +08:00
    @wtf94666 你们什么公司啊 我在我们公司推广碧蓝航线推不出去
        34
    WinMain   2018-06-26 18:07:15 +08:00
    我们组那位大数据童鞋用 spark 等工具处理 kafka 等地方的数据,出报表,比如 app 相关的点击率,转化率,时常统计等,还有给推荐算法搜索算法童鞋做点数据前期处理的工作。
        35
    renzongxian   2018-06-26 18:24:10 +08:00 via iPhone
    用 HQL、MR 处理数据,ETL,找 bug,改 bug
        36
    fuyufjh   2018-06-26 21:49:39 +08:00 via Android
    大部分是 ETL 工程师,少部分是写框架的
        37
    z3jjlzt   2018-06-27 08:56:22 +08:00
    sql curd 只有 r。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1409 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 34ms · UTC 23:44 · PVG 07:44 · LAX 15:44 · JFK 18:44
    ♥ Do have faith in what you're doing.