大数据萌新问个 spark 的问题

2018-04-09 17:48:18 +08:00
 hbsfxlz

有一个 rdd,里面的数据是(a,1)(b,2)(c,3)也就是相当于 hashmap 里 a=>1,b=>2,c=>3,如何往 rdd 里添加一条数据,比如添加(sum,6)?最终我想要的结果是 a=>1,b=>2,c=>3,sum=>6 目前想到两种做法,第一种是 rdd 转成标量,往标量里加,再转化成 rdd 第二种方法是统计出一个 sumRDD,然后 join 感觉 2 种都不好,所以来 v 社问问大牛

2395 次点击
所在节点    程序员
12 条回复
hbsfxlz
2018-04-09 17:55:22 +08:00
没人么?顶一个
kex0916
2018-04-09 18:04:01 +08:00
rdd 里面没有只添加一条记录的算子
你可以构造个 sumRDD,再把 rdd 和 sumRDD union
具体的最好根据你的数据量来确定方案
hbsfxlz
2018-04-09 18:04:09 +08:00
再顶最后一次,不然就沉了吧
hbsfxlz
2018-04-09 18:04:57 +08:00
@kex0916 看来是我想多了- -
qfdk
2018-04-09 18:08:05 +08:00
rdd 现在不都是 df 么 记得特性是不能修改的 只能新建
3a3Mp112
2018-04-09 18:09:03 +08:00
首先你的 RDD 出现这种格式的数据(a,1)(b,2)(c,3),就代表你已经处理过一次了。
你想加入数据,也可以在这一次处理之前加入到源里面。
hbsfxlz
2018-04-09 18:14:29 +08:00
@qfdk 对的对的,我就想重新转换成一个新的 rdd,我试试我第一种方案吧
hbsfxlz
2018-04-09 18:15:18 +08:00
@3a3Mp112 想过,但是数据是从 hbase 中读的,结果也是统计出来的,就其实还是我问的那个问题
3a3Mp112
2018-04-09 18:19:40 +08:00
zhusimaji
2018-04-09 18:37:39 +08:00
还是先 sum 然后++实现 union 操作
kinge
2018-04-09 23:53:43 +08:00
mapValues
startar
2018-04-10 09:59:31 +08:00
先创建一个只有一个项的 rdd (sum,6) ,然后跟原来的 union 得到一个 rdd

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/445420

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX