深度学习的分布式训练，这个有没有可能做？

[Raven316]

不是多个机器多个显卡那种，而是分配给不同地区不同人的电脑和显卡上，这个是不是对网速要求应该还挺高的，毕竟传更新的参数应该会很耗网速。

[forgetlight]

你指的是 federated learning 吧?

[nnqijiu]

数据传输会很慢吧？

[wateryessence]

http://splitlearning.mit.edu/
Federated Learning for Emoji Prediction in a Mobile Keyboard

[kenshinhu]

这就像分布式处理一样吧，性能的瓶颈在网络带宽。

[jdhao]

当然可以，分布式训练是训练大模型的唯一办法，可以参考 Uber 实现的方案 horovod，支持主流深度学习框架，https://github.com/horovod/horovod

[gscsnm]

联邦学习
可以看看微众银行的 FATE

[ruimz]

federate learning，fl 的网络问题都刷到 infocom 和 nsdi 了