本地轻量 code 模型进行简单辅助编码

[hubianluanma]

有没有大佬试过在本地部署一个轻量一点的 code 大模型用来进行简单的编码辅助？各大厂商的大模型确实厉害，但是我觉得有时候一些简单的编码辅助可以利用本地的轻量模型完成。

[kyoma]

能在本地轻量部署的都没法干活用

[70nY]

我就想要个本地的自动补全

[YanSeven]

建议先试试拿目前国内的在线的 api 玩玩先，譬如 deepseek,qwen 系列，glm,minimax 系列。如果你觉得他们自己部署的都不太令人满意的话。你本地部署的就更不行了。
我反正是不看好本地轻量部署的。

[drealism]

其实我觉得能做到 jetbrains 那种离线 model 能 tab 出一个小片段那种就可以了

[asd999cxcx]

那为啥不直接用在线的其他家的免费模型？

[hubianluanma]

@asd999cxcx 免费额度大部分是有限额的吧，想把有限的其他家的留给解决复杂问题，日常的一些简单辅助编码不想浪费

[asd999cxcx]

@hubianluanma 看情况吧，比如 openrouter,冲了 10 刀之后几个免费的模型每天限制 1000 次应该够用了，不充钱的话 opencode 的 grok 、glm 和 mimimax 免费用，iflow cli 的几个模型也是免费用，腾讯的 codebuddy 国内版也是免费，实测体验下来 ds3.2 和 kimik2-thinking 还不错，只不过 ds3.2 过 5 小时有限额，kimi 的我还没用到限额过，qwen 的也还行，每日免费 2000 次数很够用，只不过模型只能用 qwen3-coder-plus

[nno]

glm4.7-flash 效果不错，干轻量级的活不错

[JamesMackerel]

有，我用 qwen-2.5-coder-7B 在本地的 RTX 2065 Super 上部署，然后在 nvim 里配置一个插件去调用这个 ollama API 实现 inline completion ，其实勉强还算可以……有时候能用。

[skiy]

B 站看到有个 up 用 16G 的 5600Ti 部署了个 glm4.7-flash ，说不错。

代码补全，新出了个 https://huggingface.co/sweepai/sweep-next-edit-1.5B