一项新的研究论文探讨了思维链 (CoT) Transformer 的理论能力，证明了它们在模拟 Word RAM 算法方面的效率。研究表明，这些 Transformer 仅需多对数开销即可执行排序和 Dijkstra 等算法，与之前模拟图灵机的效率相比有了显著提升。该研究展示了具有特定注意力机制的有限精度 Transformer 的发现，以及连续 CoT 和混合架构的发现。 AI
影响 确立了 CoT Transformer 在复杂算法任务上的理论效率，可能影响未来 AI 的推理能力。
排序理由 在 arXiv 上发表的研究论文，详细介绍了 CoT Transformer 的理论能力。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.19697v1 Announce Type: cross Abstract: The increasing popularity of \emph{reasoning} models -- language models that output a series of reasoning or thought tokens before producing an answer -- is justified, in part, by theoretical results showing that chain-of-thought …
The increasing popularity of \emph{reasoning} models -- language models that output a series of reasoning or thought tokens before producing an answer -- is justified, in part, by theoretical results showing that chain-of-thought (CoT) transformers can simulate Turing machines, a…