V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
qqq8724
V2EX  ›  问与答

请教个问题,关于 Spark 累加器的

  •  
  •   qqq8724 · 2018-06-10 21:43:00 +08:00 · 1309 次点击
    这是一个创建于 2160 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我在代码中设置了全局变量的累加器,在 map 操作中对他累加之后,在 map 外边再访问的时候,累加器的值又回到了初始值,请问是什么原因

    5 条回复    2018-06-14 09:44:13 +08:00
    kex0916
        1
    kex0916  
       2018-06-10 23:36:56 +08:00
    map 外访问?没有 action 算子吗?
    qqq8724
        2
    qqq8724  
    OP
       2018-06-11 09:09:37 +08:00
    @kex0916 有的呀 map 完我还 count 了
    kex0916
        3
    kex0916  
       2018-06-11 13:52:58 +08:00
    光看你说的情况不太好定位,最好搞个 demo 测下,如果还是有问题可以把 demo 放出来。
    qqq8724
        4
    qqq8724  
    OP
       2018-06-14 09:16:18 +08:00
    @kex0916 我后来把 map 重分区成 1 的时候,他就可以用了,感谢您的答复
    kex0916
        5
    kex0916  
       2018-06-14 09:44:13 +08:00
    @qqq8724 🙂
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3352 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 11:23 · PVG 19:23 · LAX 04:23 · JFK 07:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.