context-dependent integration

循环神经网络在权重空间中表现出任务特定的冗余

研究人员探索了循环神经网络权重空间内的功能冗余，特别是在单层tanh RNN中使用有序实舒尔坐标。该方法将谱块与非正交耦合分离，允许在保持输入和读出映射不变的情况下进行结构化消融。在固定长度复制任务中，某些非正交舒尔耦合可以移除而对性能影响极小，而其他耦合对于准确的自主回放至关重要。研究发现，保损耗消融的特征因不同任务和训练解决方案而异，表明循环权重空间中存在近似的功能不变性而非普遍对称性。