实体
Lucas Fernandez-Sarmiento
Lucas Fernandez-Sarmiento
PulseAugur coverage of Lucas Fernandez-Sarmiento — every cluster mentioning Lucas Fernandez-Sarmiento across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新理论表明，前置 dropout 可降低神经网络测试损失
研究人员开发了一种新的 dropout（一种用于神经网络的技术）的均场理论。该理论表明，通过在前置训练中更积极地安排 dropout，可以将 MLP 和 Vision Transformer 的测试损失降低 18-35%。该研究还为平滑和折返激活函数确定了不同的普适类，影响了临界指数和标度律。
-
新理论解释神经网络中的 Dropout 通用性
研究人员开发了一种均场理论来理解神经网络中的 Dropout，将其视为临界信号传播的扰动。该理论为平滑和类 ReLU 激活函数建立了不同的普适类，详细说明了它们不同的临界指数和缩放行为。该框架还提出了最优的 Dropout 调度策略，可以在不增加计算成本的情况下降低测试损失并提高准确性，并在 MLP 和 Vision Transformers 上测试了预测结果。