Francisco Ferreira da Silva

神经网络玩具模型展示了叠加态计算

研究人员开发了一个玩具模型来探索神经网络中的叠加态计算。通过训练一个具有50个神经元的单隐藏层ReLU网络，在L4损失函数下计算100个稀疏输入特征，他们观察到一个似乎在叠加态中执行所有计算的解决方案。该研究逆向工程了该解决方案，发现网络为每个特征分配稀疏二进制码字，并通过编码器的伪逆进行解码。进一步的分析表明，仅用三个标量就可以恢复网络的大部分性能，这通过构建具有手工设计的代码的等效网络得到了验证。