实体
DistMoE
DistMoE
PulseAugur coverage of DistMoE — every cluster mentioning DistMoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
DistMoE 为多模态 LLM 实现无重放分布式调优
研究人员推出 DistMoE，这是一种新颖的混合专家方法，专为多模态大型语言模型（MLLM）的分布式视觉指令调优而设计。该方法通过客户端特定的专家来增强标准的馈送前向网络，以获取领域知识，而无需集中式数据访问。DistMoE 通过采用使用各向同性正则化损失的公共锚定专家组合阶段来解决不同专家表示尺度的问题，从而实现跨客户端的无重放组合。该系统允许在推理过程中对公共和私有专家进行模块化路由，从而在没有显式标签的情况下实现令牌级别的领域组…
-
新的MoE方法增强了用于私有数据的联邦LLM调优
研究人员开发了用于混合专家（MoE）大型语言模型（LLM）的联邦指令调优的新方法，以处理去中心化和私有数据。一种方法ClientMorpher使用MoE路由器签名对协作客户端进行分组，通过防止负迁移来提高个性化性能。另一种方法DistMoE为客户端特定的专家增强了LLM层以进行域适应，采用公共锚定的组合阶段来管理专家合并并实现模块化路由，而无需显式域标签。