Chain-of-Thought transformers

研究发现：思维链 Transformer 可高效模拟 Word RAM 算法

一项新的研究论文探讨了思维链 (CoT) Transformer 的理论能力，证明了它们在模拟 Word RAM 算法方面的效率。研究表明，这些 Transformer 仅需多对数开销即可执行排序和 Dijkstra 等算法，与之前模拟图灵机的效率相比有了显著提升。该研究展示了具有特定注意力机制的有限精度 Transformer 的发现，以及连续 CoT 和混合架构的发现。