实体
zero-order optimization
zero-order optimization
PulseAugur coverage of zero-order optimization — every cluster mentioning zero-order optimization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新算法弥合无导数问题的优化差距
研究人员开发了一种新的一维无导数随机凸优化算法。该算法实现了O(1/sqrt(T))的最优收敛速率，弥合了该特定优化领域理论上限和下限之间持续存在的差距。这项工作首次为这类问题提供了尖锐的速率保证，这类问题涉及在没有直接梯度信息的情况下，使用带噪声的函数评估来最小化凸函数。
-
新研究重新审视反向传播的机制和局限性 · 跟踪 4 个来源
三篇最新的 arXiv 论文探讨了深度学习中反向传播的机制和局限性。其中一篇论文将反向传播重新表述为一个幂零线性系统，揭示了其数学结构以及对残差网络和迁移学习的影响。另一项研究将反向传播与前向模式自动微分和零阶优化等替代方法进行了比较，发现虽然这些替代方法节省了内存，但计算成本更高，准确性也更低。第三篇论文将语言模型头识别为一个重要的梯度瓶颈，表明从内部特征到词汇 logits 的投影抑制了很大一部分梯度范数，导致次优的训练动态和效率低下。