“上下文腐烂”的概念描述了大型语言模型在回忆越来越长的对话历史中的信息时遇到的困难，即使上下文适合其扩展的 token 窗口。这种现象会影响所有模型，无论其大小或架构如何，因为性能会随着输入长度的增加而下降。研究表明，与提供整个对话历史相比，仅提供对话的相关部分时，模型的性能会显著提高，这表明修剪不必要的上下文对于保持模型的准确性和效率至关重要。 AI
影响 开发人员必须主动管理上下文长度，以确保 LLM 的准确性和效率，因为模型会随着输入尺寸的增加而退化。
排序理由 该项目讨论了一个技术概念（“上下文腐烂”），并提供了与 LLM 在长上下文下的性能相关的代码示例和研究结果，但没有宣布新的模型发布或重要的产品更新。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
