AI 本地化部署的方式

[wenkgin]

最近在尝试本地化部署 AI ，用了 ollama+dify ，只是简单的试用了下，感觉还行，能完全在离线环境安装使用。

想问问老哥们的方式有哪些，我都想试试对比一下

[byby]

都半斤八兩，最後都要老老實實上 api

[songyoucai]

超微 7049 128g 内存 2080ti22g * 2 pve+Ubuntu + vllm 部署了 千问 30b

[SGL]

本地化部署的是不是都是“弱智”AI ，有实际应用价值不

[totoro52]

多少 B 的？ 本地部署大语言模型纯降智成智障，还不如接 api 真的，花点钱还省了多少电费

[davidyin]

在 16G 内存的 i5 6500 上跑过 十几 b 的模型，反应速度还行。

[visper]

本地就 ollama 玩玩就行了啊。又或者 xinference 之类的可以部署其他格式的模型。

[chiaf]

本地聊天的那种没意思。

生成图片视频的还不错，但是对设备的要求太高

[justtokankan]

用来做量化交易用应该不错吧

[sdwgyzyxy]

cnb 每个月可以白嫖 1600 核时，h20 的 gpu ，可以跑 gpt-oss:120b ，挺好的

[wenkgin]

@byby 很多场景还是需要本地化的（涉密信息、能完全控制 api 的方式以后停用、收费），设备不用担心有需要就肯定有钱买，主要是看 ai 模型的效果如何

[wenkgin]

@visper 我现在玩的就是 ollama 感觉可用性太低了，我电脑性能也不太行

[wenkgin]

@davidyin 也是用的 ollama 吗

[wenkgin]

@totoro52 qwen3:4b ，测试用的 我只是验证可行性

[youtubbbbb]

本地部署的意义是什么？即使你有隐私的考虑，租服务器也好很多

[wenkgin]

@youtubbbbb 有些涉密内容的知识库或者公司内部的一些东西，不能公开的

[silomrelephant]

8b 可以稳定工具调用了，20b oss 能用用。硬件可以考虑 ai pc ，32g 统一大内存足够，2/4 通道板载内存速度够用。

[wenkgin]

@silomrelephant 我这够吗？
<img src="https://i.mji.rip/2025/09/12/876a350e56245a7659d2ca98b33874d8.png" alt="876a350e56245a7659d2ca98b33874d8.png" border="0">

[wenkgin]

@silomrelephant 搞了半天这个应该能是图片了吧
https://imgur.com/a/aX4bsr3

[wenkgin]

[Imgur]( https://imgur.com/wXEtddV)

[wenkgin]


[wenkgin]


[silomrelephant]

@wenkgin cpu 应该问题不大，没研究过这个 r9 ，目前主要瓶颈看内存速度，成品机 ai pc 板载 ddr5 多通道的，一般比自己组的速度高很多，自己找大模型算一下 token 每秒多少

[8o8]

本地部署性能有点跟不上，我在本地跑的 15b phi4 用来进行编程，感觉上下文长度限制很大，经常写着写着就忘了要干什么，总之很不好用。如果有哪位大佬本地调好了请指点一下。
在三个配置上都试了：
1.台式机，14900K+256GB 内存，使用 cpu 跑
2.笔记本电脑，14900K+64G 内存+4070
3.服务器，至强 6138*2+512G 内存+3080-12GB*4

[songyoucai]

@8o8 #23 我们可以交流交流 我现在编程 部署的 30b 感觉够用

[YsHaNg]

@8o8 都有第三个平台了为什么跑 phi4 这么上古的模型 还是个 14b 的

[YsHaNg]

@8o8 都有第三个平台了为什么跑 phi4 这么上古的模型 还是个 14b 的 按说这能跑 qwen3-coder:480b

[davidyin]

@wenkgin
是的