请教 Nvidia Tesla T4 的最佳实践

[xjx0524]

原有几台 8 x 2080Ti 的服务器，一部分用来训练，一部分部署了 TensorRT Inference Server 做服务，同时也会用到 GPU 解码

现新到了 2 x T4 的机型，不太明白 T4 cores 都比 2080Ti 少，为什么一个机器只有 2 张卡。 想请教一下这个卡的优势是什么，怎样能最大限度的利用起来？

[nightwitch]

2080ti 吊打 t4 。Nvidia 不允许 GTX 系列被用到数据中心，可能是你的公司收律师函了所以不得不买 Tesla 系列。

[xjx0524]

@nightwitch 原来是这样[捂脸哭]

[cshlxm]

一楼真相了～ 小公司的话偷偷用其实没事，但是指不定哪天律师函了就不好了，有能力还是买商业版本吧

[Moming]

T4 是用来做 inference 的，不是用来 train model 的。支持 quantization，16G 显存，多好啊。

[xjx0524]

@Moming 2080ti 也支持 quantization 吧，感觉 T4 唯一优势就是显存大了一点...