实体 RotMoLE

RotMoLE

PulseAugur coverage of RotMoLE — every cluster mentioning RotMoLE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_51296 · May 25 · 08:18

RotMoLE框架通过旋转门控增强LLM低秩专家

研究人员推出RotMoLE，一种新颖的专家混合（MoE）框架，旨在增强大型语言模型（LLM）中低秩专家的能力。该框架基于MoE-LoRA，并引入了一个旋转门控机制，该机制超越了简单的标量重加权，实现了更优的专家利用和专业化。RotMoLE在复杂的多任务和多语言训练场景中已证明了其有效性。