有什么本地部署好使的写代码小模型吗? 24GB 显存玩玩那种

10 月 6 日
 52txr

3090 24GB 的显卡 64GB DDR5 内存

目前调研能部署的有 Qwen3-Coder-30B-A3B ( Q4_K_M / AWQ )、DeepSeek-R1-Distill-Qwen-32B ( AWQ / INT4 )、DeepSeek-Coder-V2-Lite ( Q4_K_M / Q5_K_M )、DeepSeek-Coder-33B ( Q4_K_M )

有同志真自己部署了吗,哪一个的效果相对好一点呢?

4745 次点击
所在节点    Local LLM
24 条回复
panghu960
10 月 22 日
单卡 3090 (24GB 显存) + 64GB DDR5 跑本地写代码,今年实测下来最务实的方案确实是 Qwen3.8-27B ( Q4_K_M 或 Q4_K_S ):

1. 为什么坚决避开去年的 32B/33B 老模型:
去年那批模型在 Tool Calling 、返回格式自纠错(尤其是精准输出 JSON / XML 工具调用)以及长上下文的注意力保持上,和现在的 Qwen 3.8 / 3.5 相比差距非常明显。用在真实 Agent 或 VS Code 自动补全里经常出现参数幻觉。

2. 24G 显存的显存分配技巧:
如果做 Agent 编程,上下文建议至少留出 32k~64k 。用 llama.cpp 或 vLLM 部署时,KV Cache 设为 q8_0 或 fp8 ,配合 `--flash-attn on`,模型权重吃掉 ~17GB 显存,剩下的 6~7GB 足够支撑大几万 token 的 KV cache ,基本不会 OOM 。

3. 个人踩坑体会:
我自己做开源自托管 Agent ( openmuse-standalone ,声明我是开发者),在 24G 单卡机器上长期主力就是跑 Qwen 27B 负责所有本地代码检索、Tool Call 和单文件重构。遇到跨十几层架构的大重构再切商业云端模型,这种「本地 27B 搞定 85% 日常 coding + 云端顶配兜底」的混合架构,速度和成本体验是最好的。
jinsongzhaocn
15 天前
11 月 6 号的版本可能是个分水岭,Strata 0.2.11: Unsloth's new 1- to 4-bit Qwen3.8-Flash-Next files ,UD-IQ4_XS-v31 93.7 GB 4 , 终于 24GB 64GB 内存可以跑 Q4 级别的 Qwen3.8-Flash-Next 了。效果开始超过 Qwen3.8 27B 了。
jinsongzhaocn
15 天前
不过内存最好到 128GB 。64GB 读盘挺多,一定放 SSD 上面,速度 50 tok/s 左右. 200k 上下文,--vision cpu 。

docker run -d --name strata-qwen-coder \
--gpus all \
-p 0.0.0.0:8100:8080 \
--shm-size=8gb \
--ulimit memlock=-1 \
--stop-timeout 120 \
-v /home/tab/llm_models/unsloth/Qwen3___8-Flash-Next-GGUF:/models:ro \
-v strata-data:/data \
-e STRATA_SOURCE=modelscope \
strata:0.1.57-cuda89 \
sh -c '
trap "strata launch --stop --preset docker-nokey 2>/dev/null; exit 0" TERM INT
strata launch --no-tui --yes --access lan --no-api-key \
--data-dir /data/Strata-data --model UD-IQ4_XS-v31 --family unsloth \
--parallel 1 --tune quick --retune \
--model-path /models/UD-IQ4_XS \
--context 204800 --vision cpu --port 8080 \
--save-preset docker-nokey || exit $?
bad=0
while :; do
sleep 10
if strata launch --status --output json 2>/dev/null | grep -q "\"state\": *\"ready\""; then bad=0; else
bad=$((bad+1)); fi
[ "$bad" -ge 3 ] && { echo "[X] server is gone"; exit 1; }
done'
miaosheng
13 天前
qwen3.5:9b-q4_k_m
qwen3.8:27b-ud-q4_k_m

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1246662

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX