不同硬件的在机器学习上的性能表现

[snnn]

在下面这两款 CPU 上：
Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz, 2095 Mhz, 6 Core(s), 12 Logical Processor(s). Ivy Bridge，2013 年。
Intel(R) Xeon(R) W-2123 CPU @ 3.60GHz，3600 Mhz, 4 Core(s), 8 Logical Processor(s). Skylake，2017 年。

论单线程计算能力，第二个是第一个的 4.5 倍。整体多核性能相差 3 倍。所以不能光看主频。

如果比较：
Intel(R) Xeon(R) W-2123 CPU @ 3.60GHz，3600 Mhz, 4 Core(s), 8 Logical Processor(s). Skylake，2017 年。
Intel(R) Xeon(R) CPU E3-1230 v5 @ 3.40GHz, 4 Core(s), 8 Logical Processor(s). Skylake，2015 年。

在 resnet50 模型上，前者比后者快 50%, 尽管主频只有 6%的差距。而且都是 Skylake 。我猜最核心的区别就是有没有 AVX512. 另外，主板和内存带宽也会带来显著影响。在这样的配置下，至少有 1/3 的时间瓶颈是在内存带宽上。


1 个 GTX 1080 大约相当于 2 个 W-2123 。

ice lake 的 i3-1005G1 尽管只有双核，但是在 resnet50 的表现上与 4 核的 W-2123 相当。我猜主要是因为加了 VNNI 指令。但 i3-1005G1 可是移动平台啊！笔记本的 CPU ！ W-2123 的 W 是 workstation 的意思。

NVIDIA Jetson AGX Xavier 在 resnet50 和 ssd-resnet34 上要比 gtx1080 好 3 倍。但是 Jetson AGX Xavier 也太贵了，谁会拿它用在 IoT 设备上。

Titan RTX 据称大约相当于 5-6 倍的 gtx 1080，价格也大约相差这么多倍。

1 个 Intel 9282 勉强与 8 个 Nvidia T4 打平。但是 1 个 9282 大约售价 2.5 到 5 万美元，8 个 T4 大约 2 万。T4 是 Nvidia 在 inference 领域最具性价比的东西，简单看来，和 CPU 比并无优势。但是实际上这里面的细节问题很多。因为他们都用了 quantization，以低精度换高性能。但是精度到底有多差就不好说了。