Mixture-of-Experts Language Models

新框架RARE改进MoE语言模型引导

研究人员开发了RARE，一个用于引导专家混合（MoE）语言模型的新框架，该框架将表示引导与专家路由解耦。这种方法将行为扰动投影到路由器矩阵的零空间，从而缓解了表示工程与MoE架构之间的结构不匹配引起的问题。研究表明，RARE在有害性引导、真实性和事实编辑方面均有改进，同时保持了模型的准确性。另外一项研究调查了双语MoE模型，发现虽然顺序语言暴露可以实现稳定、语言平衡的路由，但非课程基线表现出更强的总体语言专业化。