PulseAugur
中
实时 08:26:09
English(EN) AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning

新的 AR1-ZO 方法通过零阶优化提升 LoRA 微调性能

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 AR1-ZO，一种使用零阶优化和低秩适配 (LoRA) 微调大型语言模型的新方法。该技术解决了在不影响 ZO 查询信噪比的情况下有效提高 LoRA秩的挑战。AR1-ZO 通过查询具有拓扑感知缩放的交替秩-1 原子来实现这一点，它可以在不需要额外基或前向传播的情况下恢复秩不变的活动信号。在 OPT 和 Qwen3 模型上的实验表明，AR1-ZO 能够在标准的 ZO 查询预算内实现高秩 LoRA 微调的有效性。 AI

影响 通过改进 LoRA 的零阶优化技术，实现更高效、更有效的大型语言模型微调。

排序理由 该集群包含一篇详细介绍大型语言模型微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的 AR1-ZO 方法通过零阶优化提升 LoRA 微调性能

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Yao Shu ·

    AR1-ZO：面向高秩 LoRA 微调的拓扑感知秩1零阶查询

    Zeroth-order (ZO) optimization enables large-language-model fine-tuning without storing backpropagation activations, while LoRA supplies compact trainable adapters. Combining them creates a rank paradox: increasing LoRA rank improves adapter capacity, but standard two-point ZO ei…

相关实体

相关话题