PulseAugur
中
实时 12:14:51
English(EN) Transforming Rank: How Architecture Navigates the Spectral Pathologies of Depth

Transformer架构在深度上的秩保持性分析 · 跟踪2个来源

作者 PulseAugur 编辑部 · [2 个来源] ·

一篇新的研究论文探讨了Transformer前馈块的架构如何影响网络深度初始化过程中秩的保持。该研究重新解释了跳跃连接和归一化层，不仅作为幅度控制器，而且作为维持梯度秩的机制。它表明，跳跃连接有助于将梯度绕过减秩组件，而归一化层的放置则管理着秩崩溃和类似集成行为之间的权衡。该论文还详细介绍了Transformer内部的双矩阵结构，结合宽度扩展和激活函数，如何保持表示和雅可比矩阵的秩，其中宽度遵循Marchenko-Pastur定律。输入-输出雅可比矩阵的初始化秩被证明可以预测网络在CIFAR-10等数据集上的训练成功率。 AI

影响 为Transformer架构提供了理论见解，可能指导未来模型设计以提高训练稳定性和性能。

排序理由 该集群包含一篇详细介绍Transformer架构新颖理论见解的研究论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Transformer架构在深度上的秩保持性分析 · 跟踪2个来源

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Katie Everett ·

    转型排名：架构如何应对深度的光谱病理

    arXiv:2607.14018v1 Announce Type: cross Abstract: We investigate how each component of the Transformer feedforward block architecture design determines how much rank survives across depth at initialization. We reinterpret skip connections and normalization, long understood as con…

  2. arXiv cs.AI TIER_1 English(EN) · Katie Everett ·

    转型排名：架构如何应对深度的光谱病理

    We investigate how each component of the Transformer feedforward block architecture design determines how much rank survives across depth at initialization. We reinterpret skip connections and normalization, long understood as controlling magnitude, as mechanisms for preserving g…

相关实体

相关话题