V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hbsfxlz
V2EX  ›  程序员

大数据萌新问个 spark 的问题

  •  
  •   hbsfxlz · 2018-04-09 17:48:18 +08:00 · 2390 次点击
    这是一个创建于 2202 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有一个 rdd,里面的数据是(a,1)(b,2)(c,3)也就是相当于 hashmap 里 a=>1,b=>2,c=>3,如何往 rdd 里添加一条数据,比如添加(sum,6)?最终我想要的结果是 a=>1,b=>2,c=>3,sum=>6 目前想到两种做法,第一种是 rdd 转成标量,往标量里加,再转化成 rdd 第二种方法是统计出一个 sumRDD,然后 join 感觉 2 种都不好,所以来 v 社问问大牛

    12 条回复    2018-04-10 09:59:31 +08:00
    hbsfxlz
        1
    hbsfxlz  
    OP
       2018-04-09 17:55:22 +08:00
    没人么?顶一个
    kex0916
        2
    kex0916  
       2018-04-09 18:04:01 +08:00
    rdd 里面没有只添加一条记录的算子
    你可以构造个 sumRDD,再把 rdd 和 sumRDD union
    具体的最好根据你的数据量来确定方案
    hbsfxlz
        3
    hbsfxlz  
    OP
       2018-04-09 18:04:09 +08:00
    再顶最后一次,不然就沉了吧
    hbsfxlz
        4
    hbsfxlz  
    OP
       2018-04-09 18:04:57 +08:00
    @kex0916 看来是我想多了- -
    qfdk
        5
    qfdk  
       2018-04-09 18:08:05 +08:00 via iPhone
    rdd 现在不都是 df 么 记得特性是不能修改的 只能新建
    3a3Mp112
        6
    3a3Mp112  
       2018-04-09 18:09:03 +08:00
    首先你的 RDD 出现这种格式的数据(a,1)(b,2)(c,3),就代表你已经处理过一次了。
    你想加入数据,也可以在这一次处理之前加入到源里面。
    hbsfxlz
        7
    hbsfxlz  
    OP
       2018-04-09 18:14:29 +08:00
    @qfdk 对的对的,我就想重新转换成一个新的 rdd,我试试我第一种方案吧
    hbsfxlz
        8
    hbsfxlz  
    OP
       2018-04-09 18:15:18 +08:00
    @3a3Mp112 想过,但是数据是从 hbase 中读的,结果也是统计出来的,就其实还是我问的那个问题
    3a3Mp112
        9
    3a3Mp112  
       2018-04-09 18:19:40 +08:00
    zhusimaji
        10
    zhusimaji  
       2018-04-09 18:37:39 +08:00 via iPhone
    还是先 sum 然后++实现 union 操作
    kinge
        11
    kinge  
       2018-04-09 23:53:43 +08:00
    mapValues
    startar
        12
    startar  
       2018-04-10 09:59:31 +08:00 via Android
    先创建一个只有一个项的 rdd (sum,6) ,然后跟原来的 union 得到一个 rdd
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   914 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 20:50 · PVG 04:50 · LAX 13:50 · JFK 16:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.