请问: 要部署本地 AI, 投喂 AI 知识库的话, 目前适合个人电脑的最佳方法是啥?

[Lucy2025]

请问: 要部署本地 AI, 投喂 AI 知识库的话, 目前适合个人电脑的最佳方法是啥?

要达到的效果是: 把代码仓库和个人知识库投喂到本地部署的 AI, 能实现在这些数据基础上做编程开发.

谢谢

[mumbler]

目前本地模型水平还不够编程，前几天发布的 qwen3 code flash 虽然可以本地跑，但能力还是很有限，大概 18 个月后本地小模型才能达到现在 claude4 水平，现在搞是炮灰

[RotkPPP]

@mumbler 你咋知道要 18 个月

[8820670]

🤔 有这种知识库+编程的吗。我感觉还是比较的困难。
我觉得能够达到类似的就是，在 cursor （任何 AI 开发 IDE ）做开发的基础上，引入相关的知识库具体文件作为上下文。
至于本地 AI 也就是换个 API 的问题。

[momo1pm]

先投二十万买设备，其他都好说

[PrinceofInj]

@RotkPPP 摩……摩尔定律？

[mumbler]

@RotkPPP #2 现在本地能流畅跑的 32B 模型，大概相当于 18 个月前的云端顶级模型 gpt4o 水平

[he1293024908]

个人电脑部署的 ai 不够聪明吧，一般 32-64g 内存，效果跑出来也不大好

[easychen]

Mac Mini M4 16G 上 14b mlx 模型能跑到 10 token/s 。

知识库本身不太消耗算力（主要靠嵌入模型），但本地模型一般 14b 的效果不太好，你可以用硅基流动的 14b 和嵌入接口先测试，如果觉得能满足你的需求，那这可能是性价比最高的机型（ 3K 左右）。

[streamrx]

个人电脑做不到这个效果。第一个就是换设备

[gitclose]

部署一下 dify 算了，然后配置个实惠的 API ，添加一个自己的知识库，想怎么调教就怎么调教

[totoro52]

楼上的方案就行了 dify + 阿里云的 api ，现在送 100W 的 tokens 每个模型的 半年，完全够用， 还可以微调模型啥的，除非你要部署一些冷门的开源模型

[slowgen]

最佳性价比就是蹲苹果官方翻新的 Mac Studio Apple M3 Ultra 芯片 512GB + 1TB 版本，价格 6.3w ，24 期免息每个月 2.6k ，然后跑 Qwen3-Coder-480B-A35B-Instruct ，5bit 量化速度 19token/s 左右，一天可以输出 150w 左右的 token ，约等于调用价值 400RMB 的官方 API 。

[BingoXuan]

@shuimugan
24 小时一直输出的话，岂不是五个半月就能回本/doge

[slowgen]

@BingoXuan 24 小时输出的话，库克和阿里都亏麻了