实体 Matrix Shampoo

Matrix Shampoo

PulseAugur coverage of Matrix Shampoo — every cluster mentioning Matrix Shampoo across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_299713 · Oct 14 · 04:00

Matrix Shampoo 优化算法的理论极限分析

研究人员对 Matrix Shampoo 进行了详细的理论分析。Matrix Shampoo 是一种专为非平稳环境（即最优值随时间变化的）设计的优化算法。该分析提供了追踪误差的高概率界限，并分解了初始化、优化器漂移、动量、噪声和预处理的贡献。这些界限突出了漂移、噪声和稳定性之间的权衡，表明在噪声主导的情况下，更高的动量是有益的，而在漂移主导的情况下，较低的动量有助于适应。该研究还建立了一个匹配的 minimax 下界，证明了 Matr…