研究人员推出了一种新颖的优化技术 ISO-LoRA，旨在提高低秩适应（LoRA）在大语言模型上的效率。与仅关注参数预算秩的传统 LoRA 方法不同，ISO-LoRA 考虑了优化器如何影响秩的利用。通过 GPT-2 实验观察到，AdamW 等优化器通常会导致有效秩较低的更新，而一种名为 Muon 的新优化器则利用了更多方向。ISO-LoRA 通过对权重空间中诱导的切线扰动应用谱下降来耦合 LoRA 因子更新，从而在奇异方向上更均匀地分配能量。这种方法提高了秩的利用率和下游性能，尤其是在中等到大的 LoRA 秩下，适用于 0.1B 到 7B 参数的模型。 AI
影响 增强了参数高效适应技术，可能降低微调大语言模型的计算成本。
排序理由 详细介绍 LLM 适应新优化技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
