新的FORA技术在微调过程中保留LLM能力

研究人员开发了一种名为FORA（Function-space Orthogonal Residual Adaptation）的新微调技术，旨在在大语言模型适应新任务的同时保留其现有能力。与以往关注权重空间代理的方法不同，FORA估计并保护与能力相关的激活子空间。该方法在Qwen3-1.7B模型上针对COGS和GSM8K等任务进行了测试，结果显示其比现有方法能更好地保留能力，同时在新任务上的性能权衡极小。研究表明，保护函数空间方向比权重空间投影更能有效维持模型能力。 AI

影响 这项研究可能带来更高效、更有效的LLM微调方法，在适应专业任务的同时保留其核心能力。

排序理由 该集群包含一篇详细介绍大型语言模型新微调技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• COGS
• DagsHub
• Function-space Orthogonal Residual Adaptation
• Gotit.pub
• GSM8K
• Hugging Face
• Qwen3-1.7B
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →