PulseAugur
实时 00:42:41
English(EN) How much of the weight-space perception gap is actually symmetry? Evidence from ~1.8M fitted SIRENs [R]

神经网络对称性足以解释权重空间感知差距

一篇研究论文探讨了神经网络中的“权重空间感知差距”,特别是参数对称性如何影响解释网络权值的能力。该研究使用了大约 180 万个已拟合的 SIRENs(隐式神经网络表示),发现仅随机化对称群,同时保持网络功能不变,就破坏了共享初始化和独立拟合网络之间几乎所有的准确率差距。这表明对称性是这种退化的充分解释,其中符号翻转占损失的最大部分。 AI

影响 这项研究阐明了神经网络对称性如何影响可解释性,可能指导未来模型设计以获得更好的理解。

排序理由 分析神经网络属性的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/MachineLearning 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

神经网络对称性足以解释权重空间感知差距

报道来源 [1]

  1. r/MachineLearning TIER_1 English(EN) · /u/ITheClixs ·

    权重空间感知差距中有多少实际上是对称性的?来自约180万个拟合SIRENs的证据 [R]

    <!-- SC_OFF --><div class="md"><p>I’ve been looking at a fairly basic question in weight-space learning that I don’t think gets separated cleanly enough:<br /> Why does reading semantics directly from neural network weights work pretty well when the networks share an initializati…