Oğuz Kaan Yüksel

研究发现：Transformer 可增量学习稀疏注意力模式

本文研究了 Transformer 在高阶马尔可夫链上训练时如何增量学习稀疏注意力模式。研究人员 Oğuz Kaan Yüksel 及其同事观察到，Transformer 的学习过程是先关注统计上最重要的位置，然后专门化不同的模式，他们用微分方程对此过程进行了建模。研究表明，这种分阶段学习（每个阶段代表一个表达能力逐渐增强的模型）对 Transformer 在序列任务中的泛化能力具有启示意义。