实体
Polyak-Lojasiewicz condition
Polyak-Lojasiewicz condition
PulseAugur coverage of Polyak-Lojasiewicz condition — every cluster mentioning Polyak-Lojasiewicz condition across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法降低了训练循环神经网络的计算成本
研究人员开发了一种称为截断反向传播随时间推移的方法，以降低训练循环神经网络的计算成本。该技术涉及将梯度计算限制在较短的时间范围内，从而产生两种边界效应：缺失的过去信息会影响前向状态，而截断的反向递归会省略未来信息。该研究提出将参数更新的梯度平均与计算上下文分离，从而产生一种双向梯度高速公路性质，其中误差随与上下文边界的距离呈指数衰减。这项工作为梯度对齐和最优性差距提供了理论保证，并在 Wiener-Hammerstein 基准测试上的…
-
研究发现，机器学习中的异步优化面临可证明的限制
一篇新的研究论文探讨了大规模机器学习中异步优化的复杂性，特别是同质和异质设置之间的差距。研究表明，在常见假设下，对于随机算法来说，在异质情况下改进现有的悲观时间复杂度是不可证明的。然而，通过引入强插值和局部 Polyak-Lojasiewicz 条件的组合，研究人员推导出了一个新的时间复杂度界限，该界限在不需要相同数据分布的情况下，性能与同质设置相匹配。