GradAttn

GradAttn通过注意力调制的梯度流增强CNN

研究人员推出了一种名为GradAttn的新方法，通过用注意力控制的路径替换固定的残差连接来增强深度卷积神经网络（CNN）。该方法动态地为不同网络深度的特征加权，从而实现自适应表示学习。在包括Fashion-MNIST在内的八个不同数据集上进行的评估显示，GradAttn变体在五个数据集上优于ResNet-18，在网络规模相当的情况下显著提高了准确性。研究还表明，注意力机制促进的可控不稳定性有利于泛化。