Lucas Bandarkar

新方法利用跨语言差距来解释MoE LLM

研究人员开发了一个新颖的框架，通过利用跨语言不一致性来解释混合专家（MoE）大型语言模型（LLM）。该方法通过对比模型在成功和失败的语言中特定组件（或“专家”）的激活情况，来识别对于回忆特定语言的事实信息至关重要的模型组件或“专家”。该过程包括用多种语言的困难事实问题查询LLM，以创建“成功”和“失败”的激活桶，然后对MoE路由器logit进行统计分析以确定关键专家。实验表明，禁用这些已识别出的少量专家会严重损害模型回答问题的能力，证…