研究人员开发了 LongZero，这是一种新颖的方法，使大型语言模型 (LLM) 能够在无需任何外部数据的情况下增强其长上下文推理能力。该方法涉及 LLM 合成其自身的链式推理和检索任务，生成问题、答案和支持证据。然后将证据扩展为长篇、多文档上下文，并使用 GRPO 进行训练。在两个 LLM 上的评估表明，LongZero 的表现优于现有方法，包括那些依赖于从外部语料库合成的数据的方法，这表明了改进 LLM 长上下文推理的一个有前景的新方向。 AI
影响 该方法可以显著降低 LLM 进行长上下文任务训练的成本和复杂性，有可能加速其在需要深入文档理解的应用中的应用。
排序理由 研究论文，详细介绍了一种新的 LLM 训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
