研究人员开发了一个名为ProxyCoT的新训练框架，以提高大型语言模型（LLM）的长上下文推理能力。该方法将推理能力从较短的“代理”上下文转移到完整的、扩展的上下文。通过首先在代理上下文上生成高质量的推理轨迹，然后在完整上下文上进行微调，ProxyCoT已显示出在计算成本更低的情况下，性能持续优于现有基线。使用此方法训练的模型在对域外任务的泛化能力方面也表现更好。 AI
影响 增强了LLM在复杂、长上下文任务上的性能，可能改进需要深入理解大量数据的应用。
排序理由 该集群包含一篇详细介绍改进LLM推理新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →