实体
stochastic gradients
stochastic gradients
PulseAugur coverage of stochastic gradients — every cluster mentioning stochastic gradients across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
更精简的Transformer模型可高效学习K-Means聚类算法
研究人员开发了一种更高效的Transformer模型，能够执行k-means聚类的Lloyd算法。与之前的迭代相比，该新模型所需的嵌入尺寸更小，降低了计算需求。该研究还探讨了在各种聚类任务上训练这些Transformer模型，使用随机梯度分析它们的收敛性和泛化能力，并研究它们的性能限制。
-
研究发现，机器学习中的异步优化面临可证明的限制
一篇新的研究论文探讨了大规模机器学习中异步优化的复杂性，特别是同质和异质设置之间的差距。研究表明，在常见假设下，对于随机算法来说，在异质情况下改进现有的悲观时间复杂度是不可证明的。然而，通过引入强插值和局部 Polyak-Lojasiewicz 条件的组合，研究人员推导出了一个新的时间复杂度界限，该界限在不需要相同数据分布的情况下，性能与同质设置相匹配。