实体
MoE-LoRA
MoE-LoRA
PulseAugur coverage of MoE-LoRA — every cluster mentioning MoE-LoRA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
FedWeave 框架通过原型专业化增强联邦 LLM 学习
研究人员推出 FedWeave，一个新颖的框架，旨在通过解决客户端之间的任务异构性来改进大型语言模型 (LLM) 的联邦学习。与之前在客户端级别进行专业化的方法不同，FedWeave 专注于在原型级别进行专业化，将专家聚合与路由器优化分开。这种不对称聚合方法旨在保持专家纯度和路由器对比度，从而在异构多任务基准测试中获得更好的性能。该框架还支持使用单个活动专家进行稀疏推理，同时保持高性能。
-
RotMoLE框架通过旋转门控增强LLM低秩专家
研究人员推出RotMoLE，一种新颖的专家混合（MoE）框架，旨在增强大型语言模型（LLM）中低秩专家的能力。该框架基于MoE-LoRA，并引入了一个旋转门控机制，该机制超越了简单的标量重加权，实现了更优的专家利用和专业化。RotMoLE在复杂的多任务和多语言训练场景中已证明了其有效性。