Unit Violation Indices

新框架“神经维度分析”提高了 Transformer 的尺度一致性

研究人员推出了一种名为神经维度分析（NDA）的新框架，用于理解和改进神经网络（尤其是 Transformer）的尺度一致性。NDA 使用类似于物理单位的原理来定义张量如何重新缩放以及哪些量可以相加，从而帮助管理尺度不匹配问题。该框架通过单位违规指数（UVI）进行诊断，并通过规范化 Transformer（GCT）来提高训练稳定性和量化鲁棒性，在语言建模和其他领域取得了初步成果。