Vsevolod Kapatsinski

Transformer 表现出与分层回归相似的自适应部分池化

一篇新发表在 arXiv 上的论文详细介绍了 Transformer 模型，特别是 GPT-2，如何表现出自适应部分池化。这种现象类似于分层回归，意味着模型的预测会受到来自相似上下文的观察的影响，尤其是在当前上下文不频繁的情况下。研究人员发现，这种池化效应随着训练的增加而减小，但在某个最佳训练点，Transformer 的行为最接近分层回归，从而最大化上下文频率对池化的影响。