lookStupiToForce
2023-03-16 15:54:18 +08:00
说个花边,提供点额外信息
"""
......
这座每秒可以完成 400 亿亿次浮点运算,亚洲目前最大的单体智算中心在本月完成升级,将与百度在江苏盐城等地的其他几座智算中心一起,为“文心一言”背后的算力基础设施提供支持。
......
from:
www[.]pingwest[.]com/a/278638
"""
这个 400 亿亿次浮点,我就当它是 FP32 了(单精度浮点)
而去年新出的 4090 ,其官方 FP32 算力是 83 TeraFLOPs ,民间实机测试可能还更高(来源:www[.]4gamers[.]com[.]tw/news/detail/55461/nvidia-geforce-rtx-4090-founders-edition-review )
1 TeraFLOPs = 1000 GFLOPs = 10^6 MFLOPs = 10^9 KFLOPs = 10^12 FLOPs
所以光这一个超算中心,就用了大概
400 * 10^16 / (83 * 10^12) ≈ 4.8 万张 4090 级别算力的显卡
(如果是禁运的 A100 ,每个 312 teraFLOPS ,则只大概需要 1.1 万张)
而根据公开报道,第一版 chatgpt 也用了 1 万张英伟达 GPU 训练( www[.]fierceelectronics[.]com/sensors/chatgpt-runs-10k-nvidia-training-gpus-potential-thousands-more )
也就是说,至少在算力比较上,是不分优劣的。