实体 foam

foam

PulseAugur coverage of foam — every cluster mentioning foam across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_65622 · Jun 1 · 15:13

新的FOAM算法提高了Shampoo的优化效率

研究人员推出了一种新的自适应算法FOAM，旨在提高Shampoo优化方法的效率。Shampoo在大规模基准测试中表现强劲，但由于矩阵求逆导致计算成本高昂。FOAM通过理论分析在使用过时的预条件更新时计算效率和优化保真度之间的权衡来解决这个问题。该算法动态调整阻尼因子和特征分解频率，以稳定训练并减少陈旧性误差。