PulseAugur
实时 09:21:02
English(EN) On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

新的 MeZO 方法可在无反向传播的情况下实现设备端 AI 微调

研究人员开发了一种名为内存高效零阶优化 (MeZO) 的新方法,用于在边缘设备上微调 AI 模型。该技术绕过了存储传统反向传播方法所需的中间激活和优化器状态的需要。MeZO 使用前向评估来估计梯度,从而使更大的模型能够适应边缘设备的有限内存,尽管微调可能需要更多时间。 AI

影响 使更大的 AI 模型能够在内存受限的边缘设备上进行部署和微调。

排序理由 这是一篇详细介绍设备端 AI 新优化技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的 MeZO 方法可在无反向传播的情况下实现设备端 AI 微调

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone ·

    On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

    arXiv:2511.11362v2 Announce Type: replace Abstract: On-device fine-tuning is a critical capability for edge AI systems, which must support adaptation to different agentic tasks under stringent memory constraints. Conventional backpropagation (BP)-based training requires storing l…