实体
Clarke trajectory
Clarke trajectory
PulseAugur coverage of Clarke trajectory — every cluster mentioning Clarke trajectory across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的反例挑战了单神经元AI训练中的傅里叶对齐
研究人员提出了一个单神经元模加傅里叶对齐假设的反例。该反例表明，一个ReLU神经元可能会变得不活跃，并保持在极限状态，其傅里叶能量分布在所有非零实频率上。在高斯初始化下，这种失败以正概率发生，并且对于Clarke轨迹和ReLU的光滑近似，使用固定步长梯度下降也可能发生。这一发现表明，在训练单个神经元进行模加时，单频率对齐并非必然结果。
-
新研究对单神经元AI模型的傅里叶对齐提出挑战
研究人员提出了一个单神经元模加傅里叶对齐假说的反例。该研究展示了一种情况，其中一个ReLU神经元在初始激活后变得不活跃，并在傅里叶能量均匀分布在频率类别上的极限处冻结。这种现象在Gaussian初始化下以正概率发生，并且可以扩展到Clarke轨迹，这表明在训练单个神经元进行模加时，单频率对齐并非普遍结果。