研究人员推出了一种新方法 GEAR，用于优化 LoRA（低秩适应）参数高效微调中的秩。与之前关注容量分配的方法不同，GEAR 解决了当前适应空间是否足以应对给定任务的问题。通过分析因子梯度的**一阶信息边界**，GEAR 提出了秩演化的几何视图，通过**法向奇异方向**识别最优秩扩展。GEAR 应用于语言和视觉基准测试，在可训练参数显著减少的情况下表现出卓越的性能，特别是将 LLaMA3-8B 的常识分数从 86.61 提高到 88.45，同时将可训练参数从 42.0M 减少到 14.4M。 AI
影响 该方法有望实现更高效的大型语言模型微调，降低计算成本，并促进更广泛的应用。
排序理由 该集群包含一篇学术论文，详细介绍了一种优化机器学习技术的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
