PulseAugur
中
实时 16:32:36
English(EN) Neural Weight Norm = Kolmogorov Complexity

神经网络权重范数与柯尔莫哥洛夫复杂度相关联

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员已经证明了神经网络的权重范数与其生成的输出字符串的柯尔莫哥洛夫复杂度之间存在理论联系。该研究证明，在固定精度设置下，循环神经网络的最小权重范数对应于其输出的柯尔莫哥洛夫复杂度，相差一个对数因子。这一发现表明，权重衰减作为一种先验，与 Solomonoff 的通用先验（对于可计算函数是最优的）相一致。证明依赖于将图灵机程序编码到神经网络权重中，并枚举网络参数，其中对数因子通过排列编码实现。 AI

影响 为权重衰减为何有效奠定了理论基础，可能指导未来神经网络中的正则化技术。

排序理由 学术论文发表在 arXiv 上，详细介绍了机器学习中的一项理论发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

神经网络权重范数与柯尔莫哥洛夫复杂度相关联

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Tiberiu Musat ·

    Neural Weight Norm = Kolmogorov Complexity

    Why does weight decay work? We prove that, in any fixed-precision regime, the smallest weight norm of a looped neural network outputting a binary string equals the Kolmogorov complexity of that string, up to a logarithmic factor. This implies that weight decay induces a prior mat…

相关话题