FRAME 引入自适应域学习以实现参数高效微调

研究人员推出了一种新颖的参数高效微调（PEFT）方法 FRAME，该方法学习用于权重更新的最优域。与现有方法将更新固定在空间域或傅里叶域不同，FRAME 采用了一种专家混合方法，其中每个专家学习独特的分数傅里叶阶数。这使得模型能够动态地为每次更新选择最紧凑的域，从而减少干扰并改善多任务组合。FRAME 在使用 Llama-3.1-8B 和 Qwen2.5-7B 模型进行的各种基准测试中，表现优于强大的基线，并且学习到的阶数显示出按任务和层进行的可解释的专业化。 AI

影响 FRAME 的自适应域学习可以提高大型语言模型在不同任务上微调的效率和有效性。

排序理由 该集群描述了一篇介绍参数高效微调新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• FlyLoRA
• FourierMoE
• Fractional-Fourier Mixture of Experts
• FRAME
• HMoRA
• Llama-3.1:8b
• LoRA
• parameter-efficient fine-tuning
• qwen2.5:7b

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →