Stiefel layer

ManifoldFlow层为神经网络提供可学习的谱

研究人员推出了一种新颖的神经网络层ManifoldFlow，它比传统的Stiefel层提供了更大的灵活性。虽然Stiefel层强制执行固定的奇异值，但ManifoldFlow允许使用可学习的正谱，从而能够实现奇异值的方向相关衰减或放大。这种方法在各种实验中显示出改进，特别是在循环语言模型投影中，表明它在需要正交基但固定谱过于受限的情况下很有用。