PulseAugur
中
实时 07:10:45
English(EN) Dense Local Dependencies Induce Attention-Logit Explosion and Training Instability During Long-Sequence Transformer Training

密集局部依赖导致长序列Transformer训练不稳定

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文指出，在处理长序列时，密集局部依赖是自回归Transformer语言模型训练不稳定的主要原因，尤其是在低精度算术下。该研究发表在arXiv上，解释说这些依赖会产生高秩的注意力结构，随着序列长度的增长，需要越来越大的Logits来近似，从而导致不稳定。研究结果表明，明确建模密集局部依赖对于开发更稳定和可扩展的长上下文Transformer架构至关重要。 AI

影响 为更稳定和可扩展的长上下文Transformer架构提出了设计原则。

排序理由 关于Transformer训练不稳定性技术发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

密集局部依赖导致长序列Transformer训练不稳定

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Suvadeep Hajra ·

    密集局部依赖导致长序列Transformer训练期间的注意力-Logit爆炸和训练不稳定

    arXiv:2505.15548v2 Announce Type: replace Abstract: Autoregressive transformer language models frequently exhibit training instability when trained on long sequences, particularly under low-precision arithmetic. Although this instability is often accompanied by attention-logit ex…

相关实体

相关话题