批了 100 万预算让我负责搭建行业知识库大模型, 但是目前还没有思路

[sodayo]

我们公司有国内某个垂直领域最全面的文档和文献, 上面想要根据这些资源来基于大模型构建一个行业知识库型问答系统, 先自己内部用, 然后再看看能不能直接打包卖方案给别的公司. 前期 POC 阶段, 用的 RAGFlow 和本地运行 deepseek-r1:14b, 但是效果并不算太好, 但是上面坚持要搞, 所以来问问目前有没有什么更好的方案.

目前预算是够运行满血版 deepseek-r1, 但是瓶颈出现在 RAG 的召回阶段, 并且本身这些文档对于向量化来说质量不算太好, 有很多图表. 所以是否需要专门雇人来将这些文档制作成大模型可用的数据集并微调模型, 然后再使用工作流的形式处理问答会比较好呢 ?

[WaterWestBolus]

虽然不太懂这方面 但是是不是可以考虑把这个问题丢到大模型里问问？

而且粗看一下，感觉对于 100 万预算的项目来说，14b 的有点小了吧

[wandehul]

30w 发个外包 ？

[WaterWestBolus]

@WaterWestBolus 第二段没仔细看 忽略我（）

[fishlium]

知识库要上线本质还是不需要很大参数的模型，要做好意图识别和多路召回，意图识别节点在后续阶段可以使用微调小模型替代。

[suke119]

100w 搞个锤子 还满血版还要高质量多模态的召回

[nkidgm]

100w 包硬件吗？ 100w 包硬件不够花噢，就算上国产软硬件平台也不够花。

[shanks]

你既然把问题描述清楚了，为什么不直接问 AI 。。 我理解 RAG 目前已经是比较成熟的方案了，无非就是那几个关键步骤，但是真正落到细节上肯定还有很多事情可以做

[soulflysimple123]

直接打电话找 deepseek, glm,qwen 啥的让他们出个方案

[sodayo]

@nkidgm 100w 是单独给硬件的费用, 人力成本等另算, 可以允许我自由抽调集团内的开发小组

[coefu]

@soulflysimple123 为什么你会认为他们会鸟你的电话？？？🤣

[Ricardoo]

分析下效果不好的原因是什么，是召回阶段还是答案生成阶段，不同问题阶段的处理方式不同
1. 召回阶段，做好多路召回，向量召回（ huggingface 上的知名 embedding 模型都试下，bge 、qwen 等）和传统 ES 召回都做下，效果不会太差，如果领域术语较多，可能 es 召回效果还要更好一些。
2. 答案生成阶段，这个评估的更多了，首先调 API 试试大尺寸模型，看对领域内理解够不够。
- 够的话直接部署大模型完事。
- 如果不行。1. 考虑做领域内 continue pretrain, 把领域内知识学进去，然后走 SFT ，也许需要 RL, 人力物力 100w 可能不够，这种方案需要一个团队来搞。2. 走 PE + 多 agent ，为大模型添加更多的上下文背景知识。现在领域内大模型都倾向于这种模式

[gaobh]

中间要搞结构化处理

[netizen]

单纯做文档向量化检索的效果确实很差，可以研究下 #11 的思路。

[sodayo]

@Ricardoo 非常感谢，给了我很多思路

[kosmosr]

可以看看这个帖子
https://datawhalechina.github.io/all-in-rag/#/

[bytesfold]

垃圾进垃圾出

[Gilfoyle26]

@wandehul #2 太多了，花 200 ，给大学生布置一个作业，然后弄不出来，没有毕业证

[murmur]

知识库最重要的就是数据准备，这部分得找专业公司做，数据质量差后面再好也白扯

[mekingname]

向量检索真的非常垃圾。跟向量模型无关。我觉得就是向量检索其实根本没有『意图识别』的能力。

我举个例子，我的知识库里面有苹果手机、华为手机、OppO 手机的各种技术指标。但没有小米手机的任何数据。

然后当我提问：『小米手机的技术优势是什么』时，它会把苹果手机、华为手机的指标提出来给你，让你以为这是小米的指标。

所以向量检索有个屁的意图识别能力，它跟关键词匹配没有什么区别。

[ooTwToo]

RAG 做好召回很难很难， 普通文本向量化倒还好，一些复杂的多维表格和带图片的 pdf 根本搞不下去。