研究人员开发了 AdaLeZO，一个旨在提高大型语言模型微调的零阶 (ZO) 优化效率的新框架。该方法通过动态地将计算资源分配给模型中最敏感的层，解决了 ZO 通常伴随的收敛速度慢和方差大的问题。AdaLeZO 可作为即插即用模块，在不增加内存使用量的情况下，将现有 ZO 优化器的速度提高高达 3.0 倍。 AI
排序理由 这是一篇关于 LLM 新优化框架的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Zeroth-Order optimization presents a promising memory-efficient paradigm for fine-tuning Large Language Models by relying solely on forward passes. However, its practical adoption is severely constrained by slow wall-clock convergence and high estimation variance. In this work, w…