实体 BulkBoost

BulkBoost

PulseAugur coverage of BulkBoost — every cluster mentioning BulkBoost across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_284278 · Oct 7 · 04:00

Muon 优化器谱整形分析揭示低维度的益处

研究人员调查了细粒度谱整形对于 Muon 优化器的必要性，该优化器使用矩阵动量结合当前和过去的梯度。通过谱诊断，他们发现大部分奇异模式位于估计的噪声边缘之下，但集体上与参考梯度呈正相关。该研究引入了 BulkBoost，一个双频带谱重加权框架，该框架在与现有方法竞争的同时，通过降低最终损失而优于 Muon 的标准平坦配置文件。