PulseAugur
中
实时 23:21:18
English(EN) The Appeal and Reality of Recycling LoRAs with Adaptive Merging

回收 LoRA 收益有限，提示正则化效应

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新研究论文探讨了回收预训练 LoRA 模块用于语言模型的有效性，特别是在从 Hugging Face Hub 进行适配时。该研究使用了近 1000 个在 Llama 3.1 8B-Instruct 模型上训练的用户贡献 LoRA，发现与在相同数据上训练新 LoRA 相比，自适应合并方法带来的益处有限。令人惊讶的是，选择合并哪些 LoRA 对结果影响甚微，甚至随机初始化的参数也能产生相似的性能，这表明可能存在正则化效应，而非积极的跨任务迁移。研究证实，只有当池中存在高度相关的 LoRA 时，才可能实现积极迁移。 AI

影响 表明当前适配预训练模型的方法可能无法有效利用现有的微调模块，可能影响模型开发效率。

排序理由 关于模型适配技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

回收 LoRA 收益有限，提示正则化效应

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Haokun Liu, Gyung Hyun Je, Marco Ciccone, Zhenlin Xu, Prasanth YSS, Colin Raffel ·

    The Appeal and Reality of Recycling LoRAs with Adaptive Merging

    arXiv:2602.12323v2 Announce Type: replace Abstract: The widespread availability of fine-tuned LoRA modules for open pre-trained models has led to an interest in methods that can adaptively merge LoRAs to improve performance. These methods typically include some way of selecting L…

相关实体

相关话题