Suvadeep Hajra

新研究探讨长上下文模型中的Transformer不稳定性

近期两篇arXiv论文深入探讨了长上下文Transformer的训练挑战。第一篇论文识别出一种称为秩崩溃（rank-collapse）的根本性病理，即随着上下文长度的增加，注意力分数变得均匀化，并提出使用$\\log n$的关键因子进行“注意力缩放”（attention scaling）以维持自适应注意力。第二篇论文将长序列Transformer的训练不稳定性，尤其是在低精度算术下，归因于密集局部依赖。该论文认为，这些依赖会导致“注意…