Radial Bounding

Z-Plane 神经网络取代 ReLU 和 LayerNorm，实现稳定的深度学习

研究人员推出了一种名为 Z-Plane 神经网络的新型神经网络架构，它取代了传统的激活函数（如 ReLU）和归一化技术（如 LayerNorm）。这种新方法将隐藏状态映射到超球体上的二维相量束，并利用一种称为径向有界的几何激活函数。该方法旨在防止梯度不稳定、避免神经元死亡并保留方向信息。一个 100 层的 Z-Plane 多层感知机在 MNIST 数据集上展示了成功的收敛性和数值稳定性，在没有 ReLU 或 LayerNorm 的情况…