RAG 难以让人满意啊

[archxm]

• 文档是日常工作的运维知识点。
  • 比如设置 ssh 免密登陆、设置 sudo 权限、git 的常用操作、等等。
  • 暂时用这些文档来，后续想把公司业务流程放进去。
• 先后试了 obsidian 和 anythingllm ，都不能达到目的。
• 我想要的是：我输入一个关键词，它能找到相关文档。
• 当然，这是初步需求。
• 后续需求，大概是，进行适当联想和总结。
• 现状是，比如我让它给我找 ssh 内容，压根就不准。
• 我想，现在这些 ai 产品，大概率就是骗投资的。
• 类似秦国时期的商鞅变法，先做宣传：
  • 谁把这根柱子从西门搬到东门，谁就得 10 根金条。
  • 这种蠢事，就很容易得到宣传，先把气氛搞起来。
• 我认为， 如今的 ai ，或者说：大模型，确实是可以提升生产力的。
• 但是，这玩意盈利模式，不清晰。
  • 结局就是，普遍做做样子，东西搞出来，投资人满意，赏你个三瓜两枣。
  • 但是实际使用，很难用。
• 最近公司不太忙，待会我找个 python 库，再搭一个看看。

[YanSeven]

agent 可能更合适一点了现在，譬如检索。顶尖的 agent ，譬如 claude code ，codex 已经很精确了。底层也不复杂，不需要什么向量数据库。

[fennu2333]

你的需求似乎也不复杂，不想用太多 token 的话向量数据库混合索引的简单 naive rag ，愿意用 token 的话好好组织文件结构用 agentic 搜索应该问题都不大

[archxm]

@YanSeven 我用的本地模型，试了 qwen 和 llama ，感觉 llama 稍微好点。但整体还是难以让人满意。
比如，我文档里，有 logrotate.md ，介绍了日志压缩的一些知识点，logrotate 的一些配置。我在问答里，要求找日志压缩，它告诉我说我库里没这方面的内容。

[archxm]

@fennu2333 需求当然简单，但这是初始需求，先探索一下，后续会把业务文档放进去，那个就量大了。
文档不用能外面的 ai ，数据不能外传，所以用的本地模型，暂时用的小模型，比如 3b 这种。
其实我这种需求，直接用 es 做索引不就行了吗，试一试 LLM 是因为，这不感觉它挺强的吗，必然要尝试新技术。

[sunzhuo]

notebooklm 试了吗？我用过完全没有幻觉。

[meteor957]

数据最好是结构化的，chunk 切分合理。我发现召回的 chunk 和文档整体的关联也很困难，比如人物的第一次出场是第几章。

[Actrace]

试试 vxai.link ？

[clemente]

rag 是为了省成本的用法.

[coder01]

腾讯的 ima 呢？

[Edwardlyz]

试试 Engram 吧，等等 deepseek

[elevioux]

其实吧，现在 LLM 的上下文已经足够，为什么要切呢，直接喂整页就好了。只要 LLM 能根据问题，定位到所需的一页或几页即可。

[nomansky]

还不如先调用 bash mcp 'grep -i ssh*.md' 一波，

[zhaoziling]

@archxm 你这种情况，我碰到过类似的，你没法用外面的 AI ，本地模型又是比较小的，只能自己累一点搞复杂一点，首先你的数据是否有结构化的可能，不然不好弄，自己能总结出来或者喂一部分典型样例给 AI 让 AI 总结出来，然后用 AI 对数据进行结构化处理，再整体转成向量化数据库，用的时候配合余弦相似度和元数据索引，效果还可以，向量化用的模型需要你自己好好挑一下，国内有几款比国外的更适配中文

[woshishui2022]

用本地搭建的 3b 小模型的使用效果；来评价现在的商用大模型？
再固执的程序员也得承认 AI 有用，而且代码写的很好吧；时代已经来了，抗拒也没用啊

[lu5je0]

看了半天，你用的本地 3b 模型。你搁着拿着自己焊的三轮车评价保时捷呢

[archxm]

@sunzhuo notebooklm 是谷歌的吧？我想试，但提示说我所在区域不支持使用。再次询问谷歌 ai ，说让我在外区重新注册账号，太麻烦了，不现实，再说公司内部文档，不方便透露出去，不能调用外部 api

[archxm]

@elevioux 不做模型嵌入是吧？

[Livid]

[archxm]

@woshishui2022 总得有个深入浅出吧？难道我一开始就花 10 几万，买台高端机器，部署 35b 的大模型吗？

[Livid]

NLEmbedding + Gemma4 的效果，全部跑在本地 Mac 上。