研究人员开发了一个条件无毛定理，以解释自回归 Transformer 如何忘记其提示词。该定理指出，Transformer 的提示词影响会随着幂律衰减，已训练模型的遗忘速度比未训练模型更快。这种遗忘归因于注意力稀释和中继机制，其中提示词的直接影响随着上下文的增长而减弱，而续写 token 只能增加对数因子。研究表明，随着生成文本的增加，提示词的影响会消失，这意味着任何残留的提示词属性都必须由文本本身携带。 AI
影响 为理解和潜在地改进大型语言模型中的提示词保留提供了理论框架。
排序理由 该集群包含一篇学术论文，详细介绍了关于 Transformer 模型的新理论发现。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
