作者认为，LLM 中更长上下文窗口带来的感知智能提升往往是一种幻觉，这是由计费决策驱动的，而非真正的能力提升。虽然更大的窗口通过消除手动上下文管理的需求使短任务更容易，但它们会带来高昂的每 token 成本，尤其是在窗口的较深部分，模型在该部分不太可靠。作者建议，通过压缩技术进行有效的上下文管理，而不是简单地增加窗口大小，是高效可靠的代理任务的关键。这包括在任务或工具调用边界处战略性地重写状态，甚至将上下文写入磁盘，以在不产生高昂成本的情况下保持性能。 AI
影响 建议有效的上下文管理，而不仅仅是更大的窗口，是 LLM 代理性能成本效益的关键。
排序理由 该条目是一篇评论文章，讨论了 LLM 上下文窗口大小的实际影响及其成本。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
