Deutsch(DE) Same Loss, Different Gradients

研究揭示可微学习中的梯度不匹配

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-02 04:00

一篇新研究论文“相同的损失，不同的梯度”（Same Loss, Different Gradients）发表在arXiv上，探讨了可微学习中的一个基本问题：目标函数的正向传播和反向传播提供给优化器的梯度可能不一致。这种不一致可能发生在利用有限特殊函数递归、自定义反向传播规则或数值裁剪的概率目标函数中。研究人员在高维von Mises-Fisher学习中展示了这种不匹配，表明相同的正向分数可能由于梯度不同而导致不同的优化轨迹。为解决此问题，他们引入了AR/FR，一种固定深度的解析实现，通过联合构建势函数及其导数来确保前向-后向一致性，提供经过认证的保真度和固定深度计算。 AI

影响这项研究通过确保数值计算中的前向-后向一致性，可能带来更稳定和可预测的AI模型训练。

排序理由学术论文，详细介绍了一种可微学习的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 14 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了一种可微学习的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 Deutsch(DE) · Ningkang Peng, Xiaoqian Peng, Yifan He, Anjie Hu, Chao Tan, Peirong Ma, Yanhui Gu · 2026-10-02 04:00

相同的损失，不同的梯度

arXiv:2609.38786v1 Announce Type: new Abstract: Differentiable learning typically assumes that the scalar objective evaluated in the forward pass and the gradient supplied to the optimizer in the backward pass describe the same mathematical object. We show that this correspondenc…

本文如何被排名

报道来源 [1]

相同的损失，不同的梯度

相关实体

相关话题