一块 4090，怎么来评估部署大模型后（假设为 DeepSeek-R1-Distill-Qwen-7B）的并发数？、、

[bushnerd]

一直很好奇，如何来计算并发？ 假设 DeepSeek-R1-Distill-Qwen-7B 部署到 4090 ，能达到 5000 tokens/s 。 那么如果是 100 并发，则每个并发可以支持 50 tokens/s 。 如果是 1000 并发，则每个并发可以支持 5 tokens/s 。

这个算法我觉得肯定不对，实际使用中估计与很多因素有关系，所以想上来请教一下大家。

[jroger]

这个跟 max_token 有关系，这个参数设置的值越大并发数越低。设置为 2048 ，最大 10 个并发。