测试结果
671b: 6.2 tps
70b: 19 tps
32b: 38 tps
硬件环境
CPU 7955wx
64G x 8 512G 内存（读 100GB/s,写 200GB/s, 2CCDs 的原因）
4090 48G x 1
671b 软件环境
ubuntu 20.04
python 3.11 + ktransformer 0.2.2rc1
CUDA 12.4
Torch 2.6
单看 671b 速度并不算快，占用了 390G 内存，14G 显存。显卡使用率长期低于 50%，功耗 100W 。用于生成代码和 chatgpt 速度还是有明显的差距。b 站上有人用 9275fx2+4070ti 跑出了 18.5tps 速度，这个已经非常可用了
<amp-youtube data-videoid="2GAKG45KGhs" layout="responsive" width="480" height="270"></amp-youtube>
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/1114957
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.