Suvadeep Hajra

密集局部依赖导致长序列Transformer训练不稳定

一篇新的研究论文指出，在处理长序列时，密集局部依赖是自回归Transformer语言模型训练不稳定的主要原因，尤其是在低精度算术下。该研究发表在arXiv上，解释说这些依赖会产生高秩的注意力结构，随着序列长度的增长，需要越来越大的Logits来近似，从而导致不稳定。研究结果表明，明确建模密集局部依赖对于开发更稳定和可扩展的长上下文Transformer架构至关重要。