MoEGen

MoEGen 框架提供实例自适应 LoRA 生成

研究人员推出了一种新颖的参数高效微调 (PEFT) 框架 MoEGen，该框架采用了混合专家 (MoE) 方法。与存储多个 LoRA 专家的方法不同，MoEGen 将专家表示为可学习向量，并使用超网络生成实例特定的适配。这种方法将专家容量与存储大小解耦，实现了更高效和自适应的微调。在八个基准测试上的实验表明，MoEGen 的性能优于现有的 PEFT 基线。