多卡部署 QWQ Q8 是否可行

[PalWorld]

目前手上有一块 3090 ，想再买个 5070ti ，凑个 40g 显存，这样可行吗？主板是华南 H12D ，CPU 是 7532 ，主要是想在本地部署个 ragflow ，可能还要部署 embedding ，rerank 和 ocr 的模型，或者买 2 张 5070ti 这样？

[lithiumii]

可行，不过建议 48G 的 4090 或者 4090D 一步到位

[mumbler]

1. 2080ti 22G 支持 nvlink ，两块组成 44G ，加上准系统不到 1 万，这是最廉价的方案

2. qwq 32B 不如 qwen3 32B

[coefu]

40G 少了，多卡之后会有 cache ，这个也是耗显存的。QWQ q8 起码要准备 60G 。