研究人员提出了状态预测分离假说，认为在Transformer中区分下一个词预测和状态存储的作用可以提高语言建模性能。一种采用两个独立计算流来执行这些功能的新型Transformer变体，展示了改进的数据和计算效率。实验表明，与标准Transformer相比，这种方法在下游任务上持续降低了验证损失，平均性能提高了2-3个百分点。 AI
影响 这项架构创新可以通过优化计算流，带来更高效、性能更优的语言模型。
排序理由 该集群描述了一篇提出Transformer新假说和架构变体的新研究论文。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2607.01218v1 Announce Type: cross Abstract: Transformers use the same forward computation stream to both predict the next token and store useful state for future token predictions. We formulate the \emph{state-prediction separation hypothesis}: disentangling the two roles y…
Transformers use the same forward computation stream to both predict the next token and store useful state for future token predictions. We formulate the \emph{state-prediction separation hypothesis}: disentangling the two roles yields better language modeling performance. We des…
Separating state prediction from token prediction in Transformers improves language modeling performance and efficiency across different scales.