来自 NVIDIA 的一篇新论文表明，激进的上下文压缩技术可以在不显著损失准确性的情况下，大幅减少大型语言模型的 token 使用量。研究表明，即使模型的上下文窗口从数万 token 大幅缩减至数千 token，像 Claude Opus 4.5 这样的模型在 SWE-bench Verified 和 Terminal-Bench 等任务上仍能保持高性能。该方法涉及携带一个摘要状态而非完整的对话历史，这也能带来可观的成本节约，特别是对于开放权重模型，因为后面的 token 成本更高。 AI
影响 展示了一种降低 LLM 运营成本并提高长上下文任务效率的可行方法。
排序理由 该集群包含一篇研究论文，详细介绍了 LLM 上下文窗口管理的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 X — Omar Sanseviero (HF research) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
