English(EN) Directional Consistency as a Complementary Optimization Signal: The GONO Framework

GONO优化器利用方向一致性调整Adam的动量以实现更好的收敛

作者 PulseAugur 编辑部 · [2 个来源] · 2026-05-07 17:05

研究人员提出了GONO框架，这是一个旨在通过解决方向一致性和损失收敛性脱钩问题来改进深度学习训练的优化信号。与主要依赖幅度的现有优化器不同，GONO根据梯度方向的时间一致性来调整动量。这种方法旨在更好地区分平台期和真正的收敛，可能导致更高效的训练。 AI

影响引入了一种新颖的优化信号，可以提高深度学习模型的训练效率。

排序理由该集群包含一篇关于深度学习新优化框架的arXiv预印本。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.LG TIER_1 English(EN) · Victor Daniel Gera · 2026-05-08 04:00

方向一致性作为互补优化信号：GONO框架

arXiv:2605.06575v1 Announce Type: new Abstract: We identify and formalize an underexplored phenomenon in deep learning optimization: directional alignment and loss convergence can be decoupled. An optimizer can exhibit near-perfect directional consistency (cc_t -> 1, measured via…
arXiv cs.AI TIER_1 English(EN) · Victor Daniel Gera · 2026-05-07 17:05

方向一致性作为互补优化信号：GONO框架

We identify and formalize an underexplored phenomenon in deep learning optimization: directional alignment and loss convergence can be decoupled. An optimizer can exhibit near-perfect directional consistency (cc_t -> 1, measured via consecutive gradient cosine similarity) while t…