Sparsity Curse

新的“稀疏性诅咒”阻碍了先进RLVR AI模型的合并

一篇新研究论文介绍了“稀疏性诅咒”现象，该现象描述了尽管具有先进推理能力的强化学习可验证奖励（RLVR）模型，由于参数更新稀疏且分散，导致其难以合并。与易于合并的监督微调（SFT）模型不同，RLVR模型表现出脆弱的、近乎正交的参数更新，在使用标准方法组合时会降低性能。为了解决这个问题，研究人员提出了SAR-Merging，一种利用Fisher信息和幅度感知稀疏化来保留RLVR模型独特推理路径的新技术，并在数学和编码基准测试中展示了改进的性能。