研究人员推出AdaMeZO，这是一种新颖的优化器，旨在提高大型语言模型微调的内存效率。与需要大量GPU内存进行反向传播的传统方法不同，AdaMeZO采用零阶方法。它模仿Adam的动量估计，但没有内存开销，旨在提高现有节省内存的技术（如MeZO）的收敛速度。实验表明，AdaMeZO可以用显著更少的正向传播次数实现更好的性能。 AI
影响 为LLM提供了一种更节省内存的微调方法，有可能降低研究人员和开发者的硬件要求。
排序理由 该集群包含一篇arXiv预印本，详细介绍了一种用于LLM微调的新优化方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2605.00650v1 Announce Type: new Abstract: Fine-tuning LLMs is necessary for various dedicated downstream tasks, but classic backpropagation-based fine-tuning methods require substantial GPU memory. To this end, a recent work, MeZO, which relies solely on forward passes to f…
Fine-tuning LLMs is necessary for various dedicated downstream tasks, but classic backpropagation-based fine-tuning methods require substantial GPU memory. To this end, a recent work, MeZO, which relies solely on forward passes to fine-tune LLMs, significantly reduces GPU require…