尽管大型语言模型取得了进展，特别是上下文窗口扩展到一百万 token，但在达到此限制之前，准确率会显著下降。研究表明，随着输入长度的增加，领先模型的准确率下降了 30-50%，这一现象在十八种不同的模型中都有观察到。这种准确率下降意味着，仅仅增加上下文窗口大小并不能消除对检索增强生成（RAG）系统的需求，因为长上下文窗口的成本和有效性常常被高估。 AI
影响 强调了在大型语言模型中仅仅增加上下文窗口大小并不能保证性能的提高，并且可能需要继续使用 RAG 系统。
排序理由 该条目是一篇评论文章，讨论了大型语言模型中长上下文窗口的局限性，而不是主要的发布或研究发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
