HMoRA

FRAME 引入自适应域学习以实现参数高效微调

研究人员推出了一种新颖的参数高效微调（PEFT）方法 FRAME，该方法学习用于权重更新的最优域。与现有方法将更新固定在空间域或傅里叶域不同，FRAME 采用了一种专家混合方法，其中每个专家学习独特的分数傅里叶阶数。这使得模型能够动态地为每次更新选择最紧凑的域，从而减少干扰并改善多任务组合。FRAME 在使用 Llama-3.1-8B 和 Qwen2.5-7B 模型进行的各种基准测试中，表现优于强大的基线，并且学习到的阶数显示出按任务…