binary majority

Transformer 理论接受检验：尚无单一模型能解释其能力

研究人员评估了七种旨在解释 Transformer 架构能力和局限性的不同理论。通过将这些理论转化为跨各种计算任务的通用预测矩阵，他们通过测量样本复杂度、长度泛化能力和预训练语言模型性能的实验来检验这些预测。研究发现，没有单一理论能够准确预测所有观察到的成功和失败，这表明当前的理论往往未能捕捉到 Transformer 行为的关键方面，例如软注意力（soft attention）和内容依赖检索（content-dependent re…