PulseAugur
中
实时 15:01:45

Dropout and Random Gradient Masking shown to be equivalent in large ResNets

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新发表在arXiv上的研究论文表明，两种不同的深度学习训练技术——Dropout和随机梯度掩码（RaM）——在大规模残差网络（ResNets）中渐近等价。Dropout通过掩码激活在正向传播中引入随机性，而RaM则在不改变正向传播的情况下掩码梯度。研究表明，在完全特征学习的模式下，这两种方法都收敛到相同的超大规模极限动力学，这一发现适用于Dropout和RaM的几种变体，尽管在不同的量化速率下。 AI

影响 这项研究阐明了常用深度学习训练技术的理论基础，可能为未来的模型优化策略提供指导。

排序理由 一篇发表在arXiv上的研究论文，详细介绍了两种训练方法的理论等价性。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Dropout and Random Gradient Masking shown to be equivalent in large ResNets

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Javier Maass, L\'ena\"ic Chizat ·

    Dropout 和随机梯度掩码在大规模 ResNet 中渐近等价

    arXiv:2607.16761v1 Announce Type: new Abstract: Dropout and Random Gradient Masking (RaM) are two training techniques used to improve performance in deep learning. Both techniques inject randomness into the training dynamics, but in significantly different ways: dropout applies r…

相关实体

相关话题