研究人员开发了ZO-Act,一种用于大型语言模型高效零阶(ZO)微调的新颖方法。该技术将扰动限制在由输入激活感知的低秩子空间内,与现有的ZO方法相比,降低了方差并提高了性能。ZO-Act优化了轻量级系数矩阵,使其适用于量化LLM并与Adam等优化器兼容。实验表明,在Llama-3-8B和OPT-13B等模型上,在各种语言任务中均取得了持续的提升。 AI
影响 该方法可以在内存受限或无法进行反向传播的情况下,实现更高效的大型语言模型微调。
排序理由 该集群描述了一篇详细介绍LLM微调新颖方法的最新研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →