Phasor Attention

新的MRSNorm技术增强了序列模型的稳定性和效率

研究人员推出了一种名为均方根归一化（MRSNorm）的新技术，旨在增强序列模型的稳定性和效率。与传统的均方根归一化不同，MRSNorm将通道配对成二维相量，在平均之前计算其$L_2$范数，从而严格约束激活并保持共形不变性。该方法还将可学习参数减少了一半，并包含一个三角梯度裁剪器，确保即使在极端超参数条件下也能实现稳定的优化。在ResNet上对CIFAR-100进行的实证测试表明，MRSNorm具有结构稳定性并能防止数值爆炸。