Relay Mechanisms

新定理解释了 Transformer 如何忘记提示词

研究人员开发了一个条件无毛定理，以解释自回归 Transformer 如何忘记其提示词。该定理指出，Transformer 的提示词影响会随着幂律衰减，已训练模型的遗忘速度比未训练模型更快。这种遗忘归因于注意力稀释和中继机制，其中提示词的直接影响随着上下文的增长而减弱，而续写 token 只能增加对数因子。研究表明，随着生成文本的增加，提示词的影响会消失，这意味着任何残留的提示词属性都必须由文本本身携带。