有什么本地部署好使的写代码小模型吗? 24GB 显存玩玩那种

10 月 6 日
 52txr

3090 24GB 的显卡 64GB DDR5 内存

目前调研能部署的有 Qwen3-Coder-30B-A3B ( Q4_K_M / AWQ )、DeepSeek-R1-Distill-Qwen-32B ( AWQ / INT4 )、DeepSeek-Coder-V2-Lite ( Q4_K_M / Q5_K_M )、DeepSeek-Coder-33B ( Q4_K_M )

有同志真自己部署了吗,哪一个的效果相对好一点呢?

4747 次点击
所在节点    Local LLM
24 条回复
misdake
10 月 6 日
没那么关注,不过前些天我装了个 Strata ( https://github.com/Niko1221/Strata ),也许可以试试。
misdake
10 月 6 日
24GB 显存可以搞高精度一点的模型还有长上下文了。
codehz
10 月 6 日
这种去年的模型有啥好折腾的,工具调用根本不稳定,不如用🤗上的新模型量化版
kennylam777
10 月 6 日
舊模型不值得折騰+1

DS R1 Distill 還是 Qwen2.5, 而 Qwen3 也不算太好, 這些東西 Tool use 正確輸出 xml 也極不穩定而且無法自行修正, 到了 Qwen 3.5 就好很多

有 64GB RAM 直接上 Strata 試試吧, Qwen 3.8 Flash Next 125B A10B 的 Tool uses 很穩, 3090 應該在 Prefill 及 generation 的速度也十分好用
xixi1412
10 月 7 日
年度最佳本地小模型:
低内存:qwen3.8 27B.
高内存:qwen3.8 flash next ( Strata ).
27b 在执行层面上,只要把任务和验收标准写好,质量不比 gpt6 sol 差。找个大一点的付费模型当领导,27b 当力工。
wwhc
10 月 7 日
建议 llama.cpp 上 Qwen3.8 27B Q4 。建议暂时不要尝试 Strata ,这个东西似乎买了推广,作为一个开源推理系统,推广力度如此之大,原因不明,等情况明朗后再尝试,上 Qwen3.8 flash next 用 llama.cpp 也没有问题
passive
10 月 7 日
strata 真香。ddr5 内存再大一点会更香。
ezioswj
10 月 7 日
qwen3.6 35ba3b apex mtp 版本,效率和质量好得多
qwen3.8 27b 也可以,但是说实话我体感一般。

另外你跑的那些都是过时了吧,删了认准最新版吧
kenvix
10 月 7 日
1 个 3090 就 Qwen3.8 27B 。有 4 个 3090 就 qwen3.8 flash next
uprit
10 月 7 日
你这信息太滞后了,落后了好几个版本了。
本地 30B 以内的模型写代码,几乎没得选,唯一答案就是 qwen3.8 27B ,再过一段时间答案就是 qwen4 27B
52txr
10 月 8 日
@uprit 哈哈,都是 deepseek 给我整理的,过来投石问路
qqqqrt
10 月 8 日
@52txr 所有的 ai 都只有去年的 ai 数据,推荐给你也都是去年的毫无参考价值。(现在的迭代速度 1 个月前的本地 ai 就基本淘汰了,可以理解一个月就是一年,你这些模型可以理解为 10 年前的了...)直接去 huggingface 看,下载多的就把链接给你的 ai 问问它怎么样。推荐 qwen3.8-27b 系列
jinsongzhaocn
10 月 8 日
@uprit
@52txr 没错,唯一答案就是 qwen3.8 27B ,苦哈哈的玩了几个月,尝试了各种 24GB 显存方案,比如 NInfer ,llama.cpp 自编译,Bonsai, GSQ_RCQ ,Flash_Next, 最后发现居然官方标准 GGUF 模型是最佳答案:unsloth/Qwen3.8-27B-UD-Q4_K_M.gguf ,可以提供 200k 上下文,q8 精度 kv 。速度方面用 ngram ,关 mtp ,刚好不会 oom 。参数方面也可以自编译 llama.cpp kv 混合模式 k q8_0,v q5_1 ,这样可以开 mtp ,速度快点,另外 GUI 应用不能占显存,所以要有个备用的显卡,比如板载的或不同品牌的例如 AMD 的显卡。
52txr
10 月 9 日
@jinsongzhaocn 好的,知道了,感谢大佬们!!领教了,请受我一拜
hashtag
10 月 10 日
@jinsongzhaocn 大佬方便分享下电脑配置吗
liuhuanting
10 月 10 日
Strata 和 HyperQwen 都可以试试,一个质量好些,一个速度快些

iorilu
10 月 11 日
那个破限版模型好啊

想本地搞主要就是做些线上模型限制得事情, 搞破解啥的
jinsongzhaocn
10 月 11 日
@hashtag 索性分享我自用的配置,4090 24GB,64GB 内存,双 CPU 相关配置--cpuset-cpus=0-23 --cpuset-mems=0,1 和内存相关配置--cache-ram 49152 ,需要根据实际情况设置,否则不能均匀加载各自 CPU 控制的内存
@iorilu Qwen3.8-27B-Uncensored-Q4_K_S.gguf 这个模型就是逾越

如果用 Q4_K_M 模型,就得去掉--spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.6 ,否则显存不够。

docker run -d --name qwen3.8-27b-coder \
--restart unless-stopped \
--gpus all \
-p 8100:8000 \
-v /home/tab/docs/vllm_model/orcarouter:/model \
--health-cmd="bash -c 'exec 3<>/dev/tcp/localhost/8000 && printf \"GET /health HTTP/1.0\r\n\r\n\" >&3 && head -n1 <&3 | grep -q 200'" \
--health-interval=30s --health-timeout=5s --health-retries=3 --health-start-period=180s \
--cpuset-cpus=0-23 --cpuset-mems=0,1 \
--ulimit memlock=-1 \
ghcr.io/ggml-org/llama.cpp:server-cuda \
-m /model/Qwen3.8-27B-Uncensored-Q4_K_S.gguf \
--alias Qwen-Coder \
--parallel 1 \
--n-gpu-layers 999 \
--flash-attn on \
--split-mode none \
--temp 0.7 --top-k 40 --top-p 0.95 --min-p 0.01 --presence-penalty 0.0 \
--jinja --chat-template-file /model/chat_template.jinja --reasoning-format deepseek \
--no-mmproj-offload --mmproj /model/mmproj-Qwen3.8-27B-Uncensored-f16.gguf --image-min-tokens 1024 --image-max-tokens 4096 \
--reasoning on --reasoning-preserve \
--cache-ram 49152 \
--load-mode mlock \
-t 24 -tb 24 \
--host 0.0.0.0 --port 8000 \
--cors-origins "http://localhost,http://127.0.0.1" \
--metrics \
-fit off \
--ctx-size 204800 \
--n-predict -1 \
--cache-type-k q8_0 --cache-type-v q8_0 \
--spec-type draft-mtp,ngram-mod \
--spec-draft-n-max 2 --spec-draft-p-min 0.6 \
--spec-ngram-mod-n-match 24 --spec-ngram-mod-n-min 8 --spec-ngram-mod-n-max 32 \
--batch-size 1024 --ubatch-size 256
jinsongzhaocn
10 月 11 日
@liuhuanting 不错,你这个数据比我好,可能 CPU 和内存比较老的发挥不出 flash_next 的能力。
jinsongzhaocn
10 月 11 日
我本机的 zx-bench 数据和上图区别是 flash_next 编程的比 27b 差,但是安全比 27b 高。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1246662

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX