请问单卡或者双卡的 LLM 推理服务器用什么卡较好，预算 10w 左右的，是不是 H20 是比较合适的选择

7 月 7 日
 tkwl
1117 次点击
所在节点    问与答
3 条回复
zsj1029
7 月 7 日
h20 目前推理卡性价比最高的没错，vllm 部署，pcie 的就可以，多卡根据预算来
tkwl
7 月 7 日
@zsj1029 谢谢，我看预算再往下就不如搞 5090 多卡了
AIgogo
7 月 8 日
工作站用 nvidia p6000 最强，要考虑功耗和散热，还有显存和 token 吞吐吧

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1225568

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX