PulseAugur
中
实时 14:47:17

新方法改进 LoRA 微调 AI 模型合并

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为正交子空间鲁棒模型合并 (OSRM) 的新方法，以解决使用低秩适应 (LoRA) 微调的模型合并时性能下降的问题。该技术在微调前约束 LoRA 子空间，防止任务特定更新对其他任务产生负面影响。OSRM 集成了现有的合并算法以减少干扰，并在大量实验中证明了其合并性能的提高和单任务准确性的保留。 AI

影响 提高了部署和存储多个微调大语言模型的效率。

排序理由 关于模型合并新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Haobo Zhang, Jiayu Zhou ·

    Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

    arXiv:2505.22934v2 Announce Type: replace-cross Abstract: Fine-tuning large language models (LMs) for individual tasks yields strong performance but is expensive for deployment and storage. Recent works explore model merging to combine multiple task-specific models into a single …

相关实体

相关话题