实体 QK-Restore

QK-Restore

PulseAugur coverage of QK-Restore — every cluster mentioning QK-Restore across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_82086 · Jun 9 · 00:00

CoT微调降低LLM长上下文回忆能力；QK-Restore修复该问题

研究人员发现，旨在提升推理能力的思维链（CoT）微调，会无意中损害混合线性注意力模型的长上下文回忆能力。这种退化在HypeNet和Jet-Nemotron等模型中尤为明显，微调后检索准确率急剧下降。为解决此问题，研究人员开发了一种新的无需训练的方法，称为QK-Restore。该方法选择性地将查询-键投影参数恢复到微调前的状态，在不影响推理性能的情况下有效恢复长上下文回忆能力。