Geoffrey Lacour

新框架量化神经网络训练动态中的不确定性

研究人员开发了一个框架来分析宽神经网络训练动态中的涨落。这项工作侧重于这些涨落如何通过函数中心极限定理来传播到参数分布的非线性可观测量。该研究在加权 Sobolev 空间内应用了函数 Delta 方法，从而实现了可观测量的一个中心极限定理，并给出了其协方差的公式。研究结果提供了一种量化有限宽度不确定性的方法，并评估特定观测是否包含识别有意义量所需的必要信息。