Mixture-of-Experts LLMs
PulseAugur coverage of Mixture-of-Experts LLMs — every cluster mentioning Mixture-of-Experts LLMs across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法利用跨语言差距来解释MoE LLM
研究人员开发了一个新颖的框架，通过利用跨语言不一致性来解释混合专家（MoE）大型语言模型（LLM）。该方法通过对比模型在成功和失败的语言中特定组件（或“专家”）的激活情况，来识别对于回忆特定语言的事实信息至关重要的模型组件或“专家”。该过程包括用多种语言的困难事实问题查询LLM，以创建“成功”和“失败”的激活桶，然后对MoE路由器logit进行统计分析以确定关键专家。实验表明，禁用这些已识别出的少量专家会严重损害模型回答问题的能力，证…
-
个性化混合专家模型LLM以获得更好的控制和理解
研究人员提出了一种利用混合专家（MoE）大型语言模型（LLM）的稀疏路由能力来实现个性化的方法。该方法旨在减少多义性，这是密集模型LLM中一个问题，即单个神经元编码多个概念，使得个性化难以理解和控制。通过在个性化和非个性化MoE模型的激活数据上训练交叉编码器，该研究确定了负责不同个性化特征的特定专家。因果干预表明，这些确定的潜在因素足以复制个性化模型行为，并且激活相关专家可以引导非个性化模型实现个性化性能。
-
新框架RASET探究混合专家LLM中的安全性
研究人员推出了一种新颖的框架RASET，用于评估混合专家（MoE）大型语言模型（LLM）的安全性。与安全由专门的拒绝专家管理的直觉相反，这项工作表明，安全行为可以在不影响模型的主题驱动路由的情况下进行修改。RASET专门针对并调整安全关键专家，为对齐提供了一种更有效的方法。