PulseAugur
中
实时 16:49:01
实体 Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective

Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective

PulseAugur coverage of Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective — every cluster mentioning Silent Alignment in Two-Layer Linear Networks: A High-Dimensional Perspective across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_315257 ·

    两层线性网络中观察到静默对齐现象

    研究人员在高维环境下分析了两层线性神经网络中梯度流的动力学。他们的工作结合了闭式解和随机矩阵理论,提供了权重矩阵随时间变化的精确渐近谱分布。一项关键发现是识别出一种“静默对齐”现象,其中网络的奇异方向快速对齐,而其奇异值和经验损失在稍后的对数时间尺度上才发生变化,此时可见的学习才开始。