求本地部署的 AI 推荐~

[WessonC]

如果我想搞一个本地部署的 AI ，喂给它公司产品的所有资料，比如说明书之类的 PDF,PPT ，达到一个知识库的作用，有什么推荐吗？能详细一点最好，谢谢。
最好也有硬件的大概需求。
大概有 1-200 个产品。

[iv8d]

ollama

[murmur]

200 个产品本地部署你得几套 deepseek 才够用哦

[coefu]

很拉，没效果的。

[dualist]

你要做的是把知识库的每个文件元数据提取出来，然后存到 db 或者非关系数据库，暴露个接口参数让 AI 调用搜索结果，解析结果返回数据就行而不是全部喂给 AI

[zxcvbnm001]

可以选择 rag ，目前看微调还是不如 rag 稳定

[luny]

ollama+dify

[444571840]

本地 AI 不是特别推荐，当玩具玩玩可以，生产力就算了

[YsHaNg]

@murmur 不是 啥玩意为啥要 duplicate deepseek ？模型权重还有按套算的？

[murmur]

@YsHaNg 国内现在买不到那种非常强的推理卡吧，你想跑并发不就得多部署几套

[YsHaNg]

@murmur pcie 槽够多就行 200 也不是很大 多插点卡完事 这里也没什么并发需求 重要的是权重+上下文能塞进显存里 r1 模型卡 128k 属实不适合干这种事 实际召回率更低

[happybabys]

模型没有最强的，只有最适合的，本地部署是正确的选择