feedback alignment
PulseAugur coverage of feedback alignment — every cluster mentioning feedback alignment across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新协议揭示深度学习反馈对齐方法中的隐性故障
研究人员发现，深度学习中反馈对齐（FA）技术的标准评估方法存在重大局限性。目前的评估依赖于任务准确率和梯度余弦相似度，但这会掩盖关键的故障模式。一个问题是测量退化，即在某些架构中梯度会崩溃，导致余弦相似度失去意义。另一个问题是聚合崩溃，即层级异质性被聚合分数所隐藏。为了解决这个问题，提出了一种使用尺度稳定性、参考有效性和深度效用检查的新诊断协议，以及逐层余弦报告，以更好地识别和指导有效的FA方法的开发。
-
反馈对齐训练方法通过新的降维技术得到改进
研究人员发现反馈对齐（FA）方法在训练神经网络时存在一个关键限制，该方法绕过了反向传播的生物学不可靠性。他们发现FA的误差信号秩低于反向传播中使用的误差信号，限制了参数空间的探索并阻碍了其向更深层架构的可扩展性。为解决此问题，该研究提出了两种机制：一种名为Muon的优化器，可使权重更新正交化；以及一种隐藏活动归一化，可促进激活正交性。这些方法显著提高了FA在CIFAR100等基准测试上的性能，表明增加更新几何的降维对于FA作为反向传播…
-
AI学习规则与早期灵长类视觉一致，在较高区域出现分歧
研究人员发表了一项研究，比较了人工神经网络中的不同学习规则与人类和猕猴视觉处理过程的匹配程度。研究发现，早期视觉皮层的对齐在物种间是保守的，人工神经网络与猕猴电生理学数据的相关性高于与人类fMRI数据的相关性。然而，在IT皮层等较高视觉区域，学习规则的对齐排名在物种间存在显著差异，这表明模型容量和训练数据在这些区域比具体的学习规则起着更大的作用。
-
研究发现，未经训练的卷积神经网络在V1区域与人类视觉皮层相匹配
一项发表在arXiv上的新研究调查了神经网络中不同的学习规则与人类大脑在视觉处理中的活动相比如何。研究人员发现，对于V1和V2等早期视觉区域，网络的架构比使用的学习规则更具影响力。然而，随着处理进入外侧枕叶复合体（LOC）和颞下回（IT）皮层等更高级别的区域，学习规则开始显示出差异，其中反向传播在LOC区域被证明更有效。