研究人员开发了训练神经网络的新方法，这些方法能够整合不可导组件，这是脉冲神经元或量化层等领域常见的挑战。其中一种方法在 arXiv 论文中有所详述，它使用最优传输的定点公式来避免对抗性训练和隐式微分，从而实现稳定高效的训练。另一种名为 PolyStep 的方法是一种无梯度优化器，仅使用前向传播，在各种不可导架构上取得了最先进的结果，并且优于现有的无梯度方法。 AI
影响 能够训练以前因不可导组件而难以处理的更复杂的神经网络架构。
排序理由 该集群包含两篇详细介绍训练神经网络新方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
We propose an implicit neural formulation of optimal transport that eliminates adversarial min--max optimization and multi-network architectures commonly used in existing approaches. Our key idea is to parameterize a single potential in the Kantorovich dual and reformulate the as…
Neural networks increasingly embed non-differentiable components (spiking neurons, quantized layers, discrete routing, blackbox simulators, etc.) where backpropagation is inapplicable and surrogate gradients introduce bias. We present PolyStep, a gradient-free optimizer that upda…