新的PoLoRA优化器提高了LLM LoRA微调的效率

研究人员开发了PoLoRA，这是一种新颖的优化器，旨在提高使用低秩自适应（LoRA）微调大型语言模型的效率。与Adam等标准优化器不同，PoLoRA采用了面向产品的谱更新方向，控制每样本损失的变化，并管理因子和合并更新的幅度。在1B到8B参数的模型上，针对代码和数学的指令调优数据集的评估表明，与Adam相比，PoLoRA在更少的步骤中实现了最终的保留损失，且每步开销极小。此外，PoLoRA在学习率选择方面表现出更高的稳定性，并在不同秩之间保持一致的最优学习率。 AI

影响 PoLoRA有望显著降低微调大型语言模型所需的计算成本和时间，从而使更高级的模型定制更加易于获得。

排序理由 该集群描述了一篇关于LLM微调新颖优化技术的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Adam
• arXiv
• Hugging Face
• LoRA
• Muon

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →