Pattern completion

涌现式AI能力与随机稀疏注意力模式学习相关

研究人员已证明，Transformer语言模型中的涌现能力是在训练过程中随机出现的，而非平滑过渡。这些能力，如模式补全和间接宾语识别，在模型学会特定的稀疏注意力模式时会突然出现。学习这些模式的难度受上下文长度和稀疏性的影响，更多的注意力头可以提高效率，而头维度则收益递减。MLP-Mixer等替代架构在需要复杂注意力模式的任务上可能优于Transformer。