这分布式计算怎么和我想的不一样

[hertzry]

学院有个集群，但 2 个 144 核 CPU 节点一直被占着，本着质量不够数量来凑的原则，那我就用 12 个 4 核 CPU 节点，也能凑出 48 核（每个账户上限 50 核）。

本小白以为用 qsub -l nodes=12:ppn=4 ，外加一行 mpiexec -n 48 就万事大吉了，它自己就能把 12 个节点合在一起，后来一查才知道还需要手写点对点通讯什么的，好像一时间学不会啊。

小弟在学深度学习，用的是 PyTorch ，同学说 LSTM 也没法用显卡加速，现在集群这种情况，我怎么才能用上多核呢？请各位大佬不吝赐教。

[MeePawn666]

这都哪跟哪啊…… torch 是 torch,mpi 是 mpi 。建议了解一下基础。

[zhoujinjing09]

建议重修计算机硬件体系……特别是跨机器通讯和单机内 cpu 和内存的通信模式……

以及 LSTM 可以用显卡加速啊……

[dayeye2006199]

希望有朝一日分布计算框架可以变的和 LZ 描述的这么易用；

言归正传，LZ 如果想用 MPI 搞多机 CPU 并行的化，可以看一下 hovord - https://github.com/horovod/horovod/blob/master/docs/mpi.rst

[hertzry]

@MeePawn666 这……难道我表述的有问题。

[hertzry]

@zhoujinjing09 研究生半路出家，不是科班出身，现在是用什么学什么，没有时间钻研基础知识。那我试试显卡计算

[hertzry]

@dayeye2006199 好的，我去看一下。

[lonewolfakela]

深度学习不可能不能用 GPU 跑的……你用 CPU 跑得跑到哪年哪月去……

[hertzry]

@lonewolfakela 一开始不懂，现在已经用 GPU 跑上了……

[secondwtq]

楼主或许应该…换个同学？

[hertzry]

@secondwtq XD