RAG 系统如何处理总结性任务？

[bigtear]

如果用户要总结一个超大文本，这种任务需要 RAG 单独设计一个逻辑，目前业界似乎没有一个好的解决方案。

参考了腾讯的 IMA ，它的总结是直接拿固定长度的文本放到上下文的；
NotebookLLM 总结的效果不错，推测是直接利用了 Gemini 的长上下文做的；

目前用的本地 AI 上下文长度比较短，限制了 AI 的发挥，所以只能在建索引库的时候做优化了。
有没有大佬指导有什么方案可以达成速度和准确性均衡的方案？

目前是想每 n 段文本 Chunk 生成一个总结内容，但是这样还是会速度很慢。

[bigtear]

看外网讨论，似乎聚类算法能取得不错的效果