有经验的 v 友看看，这个 AI 知识库私有化部署的方案行吗，怎么改进

[XinPingQiHe]

背景

客户方为集团公司，有相当的规模。

需求

1.大量企业内部使用的行业规范、行业标准文档,需要以文本格式加入知识库。 2.有会议录音，能自动生成会议纪要（区分讲话人），供办公人员修改及使用。 3.必须私有化部署。

暂定方案

知识库及大模型，使用 ollama + qwen2.5:b14 + AnythingLLM 录音到会议纪要，Whisper ASR

问题

客户也是先咨询咨询，这边也是搭建私有环境，做一些测试。 结果，觉得上传的一批 pdf 文档，查询知识库结果，关键词抓取的不是很满意。Whisper 看过 ，整合到系统，还没用。 目标是先验证整体效果的可行性，再与客户沟通、再做相关的应用对接开发 总体来说，也是一些尝试，不知大家有没有更好的，具备可行性的方案。

[jasm]

有类似需求,mark 一下

[dabingbing]

我个人开发了一套知识库，目前还不支持纯私有化，主要技术是，1.智能文档解析，直接解析成 md ，用了阿里 和 langchain 的文本分割 2 ，向量用的 milvus 3, 大模型用的阿里，有个长文本，知识库这快我觉得没必要用特别好的模型，基本都够用，就是总结而已，

[kingdom8]

战略性插眼，学习方案

[linuslv]

楼主现在怎么样了啊，需求跟我们很像。。。。求问

[XinPingQiHe]

别急 又有很多新变化，马上要跟客户商议一个部署方案，（基本是我标题说的那个 略作扩展 换模型等等）多种途径可行，但是性能都不算完美，搞 AI 的应用，想完美很难

[Manley]

插眼，看看有没有什么好方案学习一下，deepseek 之后这块估计也火起来了

[sincw]

mark ，等待后续

[vcfger]

战略性插眼，学习方案

[registerrr]

这块儿就是老板们想象的很简单，一说就是“学习、训练不就行了，用上 deepseek”。特别是 deepseek 这一波，从上到下的一波宣传，直接让老板们一下子有想象力了，一下子对 AI 信心爆棚起来。什么都能拿大模型学一学，都能出来很好的效果。

[SimonZhong]

我这几天也是在技术调研，知识库及大模型，使用 ollama + DeepSeek-R1 b32 ，用过 AnythingLLM ，现在在用 RAGFlow ，内部基本上都是 Excel 表文档，不同文档来自不同的人做的，然后知识库的文档一多，就不准了，基本上问，就是找不到需要的信息。

[okayla]

战略性插眼，学习方案

[gcc1117]

战略性插眼，学习方案

[hoky]

@SimonZhong 2 个月过去了，请问现在最新的方案是什么？效果如何？

[SimonZhong]

@hoky #53 没有推进了 当时是给公司答复是目前还不够准，容易出问题。现在阶段我就不清楚了。

[hoky]

@SimonZhong 感谢。

[veotax]

可以试试企业级 AI 知识库 Casibase ，开源的，https://github.com/casibase/casibase

[bigbone123]

战略性插眼，学习方案