QK-Restore

新方法恢复LLM微调过程中丢失的长上下文记忆

研究人员发现，思维链（CoT）微调虽然提高了推理能力，但会显著降低混合线性注意力模型中的长上下文记忆。这个问题被称为“注意力遗忘”，会导致在“海量信息找针”（Needle-In-A-Haystack）等任务上的性能下降。一种名为QK-Restore的无训练新方法被提出，通过恢复微调前检查点的特定查询-键投影权重来解决此问题，成功恢复了长上下文能力，而没有牺牲推理性能。