大语言模型长上下文的坑

2 月 12 日
 fox0001

使用 DeepSeek API,在 Dify 配置 chatflow,发现经过 4 、5 轮对话,LLM 就会变蠢或者出现幻觉。DeepSeek API 上下文长度是 128K,输入 Token 远未达到这个量级,所以觉得很奇怪。

查了 Gemini Pro,才知这是很多 LLM 的通病。在长上下文的情况下,只关注靠后的,前面的内容会降低注意力,导致会出现“失忆”。

调用 DeepSeek API 时,System prompt 放在历史对话记录前面,当历史对话的 Token 数超过 4K,System prompt 就会被忽略,导致结果出现幻觉。

解决方法很简单,在 Dify 的 LLM 节点或 Agent 节点,修改“USER”或“查询”,在用户输入之后添加“提示”让 LLM 严格遵守 System prompt 。

1971 次点击
所在节点    DeepSeek
1 条回复
kanchi240
2 月 13 日
有会话变量可以手动控制

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1192577

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX