PulseAugur
中
实时 11:56:06
实体 Fourier fraction

Fourier fraction

PulseAugur coverage of Fourier fraction — every cluster mentioning Fourier fraction across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_307966 ·

    研究发现:神经网络可在训练损失平坦的情况下学习

    研究人员证明,即使在训练损失相对平坦的情况下,神经网络也能继续学习并提高性能。他们使用ReLU网络和特定的更新规则来处理模块化加法任务,观察到隐藏特征在演化,而保留的准确性显著提高,尽管训练交叉熵保持稳定。这种被称为“领悟”(grokking)的现象表明,最小化交叉熵并非正确分类的必要条件,因为预测置信度也会影响该指标。研究进一步显示,在更深的网络和Transformer模型中也存在平坦损失与学习并存的现象,这表明训练损失的平台期不一…