你们习惯将上下文长度控制在多少以内？

[yidinghe]

我会想办法控制在 100k 以内，我不信所谓的 1m 长上下文，因为就我个人经验，150k 以上大模型就有概率出现幻觉，出现死循环，一旦出现又没人盯着，就导致浪费大量 token 和时间。

我询问了下 Claude ，回答是两个方面的因素。首先是 transformer 本身并不完美，上下文越长它的注意力就越涣散，最后会对重要的内容视而不见；其次是训练过程本身就鼓励大模型作出一副埋头苦干停不下来的样子，这使得大模型像极了在老板面前极力展现自驱力的员工，有时候甚至给我一种“它是不是也背了房贷要还”的感觉。

根据上面的了解，我觉得如果注意力机制不改进，那么将来很长一段时间可能都只能依赖 agent 工具的 harness 技巧来维持会话了。这些技巧我个人总结主要是三方面：

第一是控制思维链，例如 karpathy 指南，第二是控制记忆，例如及时清理读过不需要了的文件内容，第三是控制输出，例如要求输出文言文。最近发布的一些大模型都强调自己如何能胜任长时间任务，但我个人觉得，能不能运行长任务，agent 工具比大模型本身更重要。

[94]

可能是我使用的方法不一样。我不会跑长任务，现在又不是之前那样按次的套餐都是用量计费的。跑长任务的意义在哪里？

我的话，整个 fix 或者 feat 结束之后就关闭掉了重新起一个新的会话。如果是几个连续相关的会在同一个会话里面处理，比如说一个 feat 里面的多个子 feat 。
所以出现幻觉、死循环的概率不大。就是简单粗暴一个相关任务一个会话，不会考虑上下文，Agent 会自己压缩。

也感觉没必要，确认好长开发计划之后，现在的 Agent 就算跑几个小时的长任务也是唤起多个子 Agent 去跑哪些子任务，并不会影响到主 Agent 。

[Yuunie]

不管上下文的，只要是做相同的事情，需要用到之前的信息，我就不会管，然后它自动压缩，然后再自动压缩

[op351]

300K
超过 400K 之后，不仅仅是幻觉，死循环
模型开始连工具调用都频繁出错
一般超过 300 之后我就开始把这一轮的更改都自动 review ，收尾，然后开新的对话了。

[aiwoshishen]

100k 太夸张了吧，我随便说两句话都 200k 了

[TheNine]

差不多 300K 左右