实体 MoE$^2$-LoRA

MoE$^2$-LoRA

PulseAugur coverage of MoE$^2$-LoRA — every cluster mentioning MoE$^2$-LoRA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_165020 · Jul 27 · 04:00

新的MoE$^2$-LoRA方法增强了混合专家LLM的微调

研究人员推出了一种新颖的参数高效微调混合专家（MoE）大型语言模型的方法——MoE$^2$-LoRA。该方法通过一个双通道路由条件投影模块，将预训练专家专业化与任务特定适应性相结合，解决了现有方法的局限性。MoE$^2$-LoRA在所有层中利用共享的全局LoRA专家池，促进了模型范围的适应和平衡的专家利用。评估表明，MoE$^2$-LoRA在各种MoE骨干模型上实现了最先进的下游准确性，同时保留了通用能力。