V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Raven316
V2EX  ›  问与答

深度学习的分布式训练,这个有没有可能做?

  •  
  •   Raven316 · 117 天前 · 662 次点击
    这是一个创建于 117 天前的主题,其中的信息可能已经有所发展或是发生改变。
    不是多个机器多个显卡那种,而是分配给不同地区不同人的电脑和显卡上,这个是不是对网速要求应该还挺高的,毕竟传更新的参数应该会很耗网速。
    7 条回复    2021-05-27 09:37:50 +08:00
    forgetlight
        1
    forgetlight   117 天前
    你指的是 federated learning 吧?
    nnqijiu
        2
    nnqijiu   117 天前
    数据传输会很慢吧?
    wateryessence
        3
    wateryessence   117 天前
    http://splitlearning.mit.edu/
    Federated Learning for Emoji Prediction in a Mobile Keyboard
    kenshinhu
        4
    kenshinhu   117 天前
    这就像分布式处理一样吧,性能的瓶颈在网络带宽。
    jdhao
        5
    jdhao   117 天前 via Android
    当然可以,分布式训练是训练大模型的唯一办法,可以参考 Uber 实现的方案 horovod,支持主流深度学习框架,https://github.com/horovod/horovod
    gscsnm
        6
    gscsnm   117 天前
    联邦学习
    可以看看微众银行的 FATE
    ruimz
        7
    ruimz   117 天前
    federate learning,fl 的网络问题都刷到 infocom 和 nsdi 了
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1968 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 08:18 · PVG 16:18 · LAX 01:18 · JFK 04:18
    ♥ Do have faith in what you're doing.