ProxyCoT

新的ProxyCoT框架增强了LLM的长上下文推理能力

研究人员开发了一个名为ProxyCoT的新训练框架，以提高大型语言模型（LLM）的长上下文推理能力。该方法将推理能力从较短的“代理”上下文转移到完整的、扩展的上下文。通过首先在代理上下文上生成高质量的推理轨迹，然后在完整上下文上进行微调，ProxyCoT已显示出在计算成本更低的情况下，性能持续优于现有基线。使用此方法训练的模型在对域外任务的泛化能力方面也表现更好。