研究人员推出了一种新颖的参数高效微调方法BoostLoRA，旨在增强模型表现力而不增加推理开销。该技术通过迭代训练和合并小型适配器，并将每个适配器分配到正交子空间，从而随着时间的推移增长有效秩。实验表明，BoostLoRA在Qwen2.5-3B的GSM8K和MATH-500等基准测试中取得了最先进的成果，其表现优于超低参数适配器和全量微调。 AI
影响 引入了一种新的PEFT方法，可以在不增加推理开销的情况下增长有效秩，从而可能提高各种任务的性能。
排序理由 这是一篇介绍参数高效微调新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
