Albert Kjøller Jacobsen

New DiMS sampler explores neural network loss minima with physics-inspired dynamics

研究人员开发了一种名为 DiMS 的新采样方法，用于探索神经网络损失函数的复杂最小值。该技术利用了一个受物理学启发的动力学系统，结合了动能、引力拉力和摩擦力来耗散能量。DiMS 旨在精确采样重参数化不变解，解决了现有方法要么过于分散或过于局部的局限性。该方法在贝叶斯推理中的不确定性量化等应用方面显示出前景，优于先前的方法。