Solomonoff

神经网络权重范数与柯尔莫哥洛夫复杂度相关联

研究人员已经证明了神经网络的权重范数与其生成的输出字符串的柯尔莫哥洛夫复杂度之间存在理论联系。该研究证明，在固定精度设置下，循环神经网络的最小权重范数对应于其输出的柯尔莫哥洛夫复杂度，相差一个对数因子。这一发现表明，权重衰减作为一种先验，与 Solomonoff 的通用先验（对于可计算函数是最优的）相一致。证明依赖于将图灵机程序编码到神经网络权重中，并枚举网络参数，其中对数因子通过排列编码实现。