TriAxisPE

神经网络对称性读出依赖于位置编码

一篇新论文探讨了神经网络权重内的对称性如何受到位置编码（PE）和用于分析的特定读出方法的影响。研究人员发现，即使底层函数具有某些对称性，PE 也可以隐藏或揭示它们。这种依赖性通过在 2D 有符号距离函数上训练的 MLP 得到证明，其中不同的 PE，如 DyadicAxisPE 和 TriAxisPE，在检测 D4 和 D3 旋转等对称性方面表现出不同的模式。