PulseAugur
实时 09:08:41
实体 Shape--Boundary Orthogonal AdamW

Shape--Boundary Orthogonal AdamW

PulseAugur coverage of Shape--Boundary Orthogonal AdamW — every cluster mentioning Shape--Boundary Orthogonal AdamW across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_167600 ·

    Transformer优化新见解:识别出隐藏边界运动

    研究人员在Transformer优化中识别出一种称为“隐藏边界运动”的现象,其中权重和偏差更新对于具有非零均值输入的仿射层在函数上是无法区分的。这种运动主要通过权重矩阵更新而非显式偏差更新来实现,对优化有显著影响。开发了一种名为SBO-AdamW的新型优化器来解决这个问题,在IMDb数据集的验证准确率上有所提高,但仍需要进一步工作才能实现稳定、通用的解决方案。