spark 中怎么实现 intersectionByKey

2017-08-07 10:41:35 +08:00
 ufo22940268

问题就是加入我现在有两个 object array, 然后我要取两者公共的 object

https://forums.databricks.com/questions/1980/filtering-an-rdd-depending-upon-a-list-of-values-i.html

我在上面链接上找到一个解决方案,但是我觉得这个解决方案是不是效率不高

1326 次点击
所在节点    问与答
1 条回复
ufo22940268
2017-08-07 11:21:34 +08:00
尴尬, 刚发完自己就研究出一种写法

https://gist.github.com/ufo22940268/9fb56db23942dae943527175cd05c3c6

这样子写的话,就算 a 中有相同的 key, 也最终能够做到 intersectionByKey

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/380965

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX