Z-Plane 神经网络取代 ReLU 和 LayerNorm，实现稳定的深度学习

研究人员推出了一种名为 Z-Plane 神经网络的新型神经网络架构，它取代了传统的激活函数（如 ReLU）和归一化技术（如 LayerNorm）。这种新方法将隐藏状态映射到超球体上的二维相量束，并利用一种称为径向有界的几何激活函数。该方法旨在防止梯度不稳定、避免神经元死亡并保留方向信息。一个 100 层的 Z-Plane 多层感知机在 MNIST 数据集上展示了成功的收敛性和数值稳定性，在没有 ReLU 或 LayerNorm 的情况下达到了 98.34% 的准确率，这表明有界几何激活本身足以支持深度学习。 AI

影响 引入了一种新颖的激活和归一化方法，有望提高深度学习模型的稳定性和信息保留能力。

排序理由 该集群包含一篇详细介绍新型神经网络架构及其在基准数据集上性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• LayerNorm
• MNIST database
• Radial Bounding
• ReLU
• Z-Plane Multi-Layer Perceptron
• Z-Plane Neural Network

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →