Random Gradient Masking

Dropout and Random Gradient Masking shown to be equivalent in large ResNets

一篇新发表在arXiv上的研究论文表明，两种不同的深度学习训练技术——Dropout和随机梯度掩码（RaM）——在大规模残差网络（ResNets）中渐近等价。Dropout通过掩码激活在正向传播中引入随机性，而RaM则在不改变正向传播的情况下掩码梯度。研究表明，在完全特征学习的模式下，这两种方法都收敛到相同的超大规模极限动力学，这一发现适用于Dropout和RaM的几种变体，尽管在不同的量化速率下。