PyTorch DistributedDataParallel 多卡训练结果变差

[yiyi1010]

本想使用多卡训练，训练结果应该会更加好，但是我发现使用三张 3090 训练，网络模型不收敛， 这是因为学习率的原因吗？

[Ricardoo]

正常。
使用多卡后一般需要调小学习率，也有可能不需要调，比较玄学。

[clemente0620]

按卡倍数 降低 学习率

[leimao]

DDP 本质就是增加了 Batch Size 。Batch Size 变了，模型可能需要就 Training Recipe 进行微调。

[hsfzxjy]

调学习率，以及注意 BN

[yiyi1010]

对 DDP 增加了 batch size ，不是应该按照卡倍数 增加学习率吗？

[yiyi1010]

@Ricardoo 这 那还能调吗

[yiyi1010]

@hsfzxjy 请问 BN 是有什么影响吗

[hsfzxjy]

@yiyi1010 BN 要换成 SyncBatchNorm ，不然统计量不同步

[yiyi1010]

@hsfzxjy 有道理。谢谢你，我去试试

[yiyi1010]

看一般是需要线性提升 leanring rate

[yiyi1010]

@hsfzxjy 你说 layernorm ，而不是 BN ，也要替换成 Syn 的版本是吗