在一个 gpu 中同时训练 50 个卷积神经网络求助

2021-12-28 21:03:43 +08:00
 Sonwi

计算资源只有一个 12g 显存的 2080ti ，需要同时训练 50 个卷积神经网络（ 50 个进程），网络结构很简单，两个卷积池化层加两个全连接层，数据集是 cifar10 ，怎样才能充分利用这个 gpu 又不超显存呢

1064 次点击
所在节点    问与答
2 条回复
ruxuan1306
2021-12-28 22:18:26 +08:00
少进程大批次，多进程小批次，反正积是常量显存大小。

但多进程可能切换代价高，大批次可能随机下降慢。
ipwx
2021-12-28 22:47:39 +08:00
这里建议你多买几张卡

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/824968

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX