Jinchang Zhu

新的EXACT方法提升了Qwen和LLaMA模型的长上下文适应性

研究人员推出了一种新颖的监督分配目标EXACT，旨在提高语言模型的长上下文适应性。该方法解决了文档掩码打包训练导致目标标记有效上下文短的问题。通过根据长尾中目标标记的频率为其分配额外的权重，EXACT在NoLiMa和RULER等基准测试中，在各种Qwen和LLaMA配置上均显示出显著的改进。当证据位于距离数千个标记之外时，收益尤为显著，而短上下文上的性能保持稳定，保留了标准的问答和推理能力。