English(EN) Looped Transformers with Source-Centered State Evolution

新的SCSE方法改进了用于文本任务的循环Transformer

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-31 04:00

研究人员引入了以源为中心的态演化（SCSE），这是一种旨在增强循环Transformer的新颖方法。SCSE通过确保精确的锚点不变性，解决了在不同循环深度下保持一致的隐藏状态的挑战。这种方法允许输入条件化，同时保留参考点，从而在文本补全和迁移学习等任务上提高了性能。 AI

影响引入了一种新颖的技术，以提高NLP任务中循环神经网络的效率和性能。

排序理由该集群包含一篇详细介绍改进Transformer模型的新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Bum Jun Kim, Kohei Hayashi, Shunsuke Kamiya, Masanori Koyama, Yusuke Iwasawa, Yutaka Matsuo · 2026-07-31 04:00

Looped Transformers with Source-Centered State Evolution

arXiv:2607.27656v1 Announce Type: cross Abstract: Looped Transformers create a useful train- and test-time compute axis by reusing the same Transformer block over recurrent depth, increasing effective depth at a fixed parameter count. However, that shared block must then govern a…