研究人员开发了InfiLoop，一种用于Transformer的新型循环原生残差连接，旨在提高复杂推理任务的性能。这种新架构通过学习选择性地保留过去的计算并管理新的更新，解决了传统循环Transformer在迭代次数增加时出现的性能下降问题。InfiLoop在Sudoku-Extreme等任务上取得了优异的成绩，准确率达到97.9%，并且即使在超过20,000次测试时间迭代后仍持续改进，凸显了其在深度上的有效扩展能力。 AI
影响 引入了一种显著扩展AI模型推理深度的方法，有望提高复杂问题解决任务的性能。
排序理由 关于AI推理新架构的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.11570v1 Announce Type: new Abstract: In this paper, we argue that looped Transformers need their own residual connections to prevent performance degradation as the number of iterations grows. We observe that increasing loop iterations can reduce reasoning accuracy: noi…
In this paper, we argue that looped Transformers need their own residual connections to prevent performance degradation as the number of iterations grows. We observe that increasing loop iterations can reduce reasoning accuracy: noisy state updates overwrite correct intermediate …