TruthfulQA MC1

新的RARE框架将表示引导与MoE路由解耦

研究人员开发了RARE，一种用于混合专家（MoE）语言模型表示工程的新框架。该方法将表示引导与专家路由解耦，解决了先前阻碍控制MoE模型行为的结构不匹配问题。RARE将行为扰动投影到路由器的零空间，最大限度地减少了路由器的可见性并纠正了后续的路由漂移。在六个MoE模型上的评估表明，RARE在引导有害性、真实性和事实编辑方面是有效的，在有害性方面的攻击成功率为53.3%，同时保持了67.8%的MMLU准确率。