Hessian-Aware Router Calibration (HARC)

新方法校准 MoE 模型合并以修复路由中断

研究人员发现，在合并专家混合（MoE）大型语言模型时存在一个重大问题，称为“路由中断”。当合并过程破坏 MoE 路由器的能力，使其无法将 token 正确导向相应的专家模型时，就会发生这种情况，从而导致性能下降。为了解决这个问题，他们提出了 Hessian-Aware Router Calibration (HARC)，这是一种新颖的无训练方法，利用二阶曲率信息来重新校准路由器。实验表明，HARC 在数学推理和代码生成等任务上能有效提高性能。