English(EN) Dynamical phase selection controls compute scaling in looped transformers

动态相位选择控制循环Transformer中的计算扩展

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-28 04:00

研究人员发现，循环Transformer在推理过程中的计算成本由其动态相位决定，而动态相位受初始化影响。具有相同架构和目标但初始化不同的网络会进入不同的动态相位，从而导致不同的计算扩展行为。该研究详细介绍了特定的分岔机制，如鞍节点折叠和Neimark-Sacker跃迁，如何区分这些相位并影响测试时的计算量。 AI

影响这项研究通过理解初始化如何影响计算扩展，可能带来更高效的Transformer架构。

排序理由这是一篇发表在arXiv上的研究论文，详细介绍了关于循环Transformer行为的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 26 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一篇发表在arXiv上的研究论文，详细介绍了关于循环Transformer行为的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Gunn Kim · 2026-08-28 04:00

动态相位选择控制循环 Transformer 中的计算扩展

arXiv:2608.26556v1 Announce Type: cross Abstract: A looped transformer performs inference by iterating a weight-tied map, making its computation a dynamical process whose cost is set by the resulting inference dynamics. Here we show that networks with identical architecture and o…

本文如何被排名

报道来源 [1]

动态相位选择控制循环 Transformer 中的计算扩展

相关实体

相关话题