研究人员推出了一种新颖的参数高效微调方法FoRA，该方法通过选择信息层来优先减少可训练参数的数量。该方法使用对角线Fisher分数进行层选择，并在Stiefel流形上训练LoRA降维投影，在半数参数预算下始终优于LoRA和DoRA等现有方法。与AdaLoRA相比，FoRA在参数数量显著减少的情况下也表现出具有竞争力的准确性，并在各种LLaMA系列、Qwen3和Gemma骨干网络上显示出一致的提升。 AI
影响 这种新的微调方法可以实现更高效的大型语言模型训练，使先进的人工智能更加普及。
排序理由 这是一篇详细介绍参数高效微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
