Score Broadcast and Decorrelation

新框架统一神经网络的信用分配

研究人员开发了一个名为Score Broadcast and Decorrelation (SBD) 的新框架，用于神经网络中的信用分配。该框架旨在与各种可微分损失函数协同工作，为反向传播提供了一种具有生物学合理性的替代方案。SBD基于输出分数和隐藏层激活之间的正交性原理，统一了常见损失族中的基于广播的信用分配。在图像数据集上的实验证明了SBD的有效性，并且增加了一个分数向量扩展技术，带来了进一步的改进。