English(EN) Derivative-Free Structured Updates for Muon

新的无导数框架使 Muon 能够进行无梯度优化

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-17 04:00

研究人员开发了一个无导数框架，用于将 Muon 优化方法改编到梯度不可用或不可靠的场景。这种新方法使用结构化有限差分来构建类似 Muon 的更新，提供了四种变体，包括随机低秩代理和直接结构化搜索。在矩阵回归和有噪声梯度任务上的实验表明，结构化探测可以显著减少所需函数评估的次数，有可能在特定黑盒问题中弥补不可靠的梯度预言机。 AI

影响这项研究为机器学习中的优化提供了一种新方法，有可能在传统方法不适用的场景中使用无梯度技术。

排序理由该条目是一篇学术论文，详细介绍了一种新的优化方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 13 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目是一篇学术论文，详细介绍了一种新的优化方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Pengcheng Xie · 2026-09-17 04:00

Muon 的无导数结构化更新

arXiv:2609.17759v1 Announce Type: cross Abstract: Muon updates matrix-valued neural-network parameters by orthogonalizing a gradient-based momentum matrix. Its reliance on derivatives limits its use when gradients are unavailable or unreliable. We develop a derivative-free framew…

本文如何被排名

报道来源 [1]

Muon 的无导数结构化更新

相关实体

相关话题