目前开源可以本地部署的模型有哪些？

[microscopec]

可以瑟瑟的，本地部署，要求 12G 内存以下，或者 16G 勉强上，可以本地部署的模型有哪些比较好用的？

[neosfung]

比较简单的计算方法，例如 6B 模型，如果用 BF16 的话，乘以 2 ，就是 12GB 运存（显存/内存）。然后还有激活 activation ，就是我们常说的 KV Cache ，也会随着上下文长度增加，具体不太好估计，得看看是 MHA ，GQA 还是 MLA 结构才知道增长倍数

[neosfung]

好吧，才看到不是语言大模型

[euph]

z-images

[qindan]

“可以瑟瑟的”是什么意思，屌大的解释一下

[chanssl]

@qindan R18

[crackself]

难道是 goonsai/qwen2.5-3B-goonsai-nsfw-100k

[crackself]

自选吧 https://ollama.com/search?q=nsfw

[tomclancy]

借楼问一下 gemma3 27b 怎么解开道德限制

[salor]

小体积的模型瑟瑟也是智障，上下文长了就成复读机了，Grok 才是真神。

[goodryb]

下午刚看到这个，实际没用过 https://mp.weixin.qq.com/s/hqpN4U0YEgOa-QYXNuEBPg

[CraftDeadMRC]

@goodryb qwen-image 是 20b 的，而且文生图的模型计算瓶颈较大，如果 offload 比较多很影响性能。z-image-turbo 相对低要求