研究人员推出了一种新颖的 Looped Transformer 深度缩放方法 DeepLoop。该技术通过形式化残差缩放和提出新的缩放规则来解决循环架构中的残差缩放挑战。在 GPT 类型模型上的实验表明，当激活循环深度时，DeepLoop 可提高验证损失和下游准确性，突出了参数访问计数对于稳定循环深度的重要性。 AI
影响 引入了一种高效缩放 Transformer 模型的新方法，可能影响未来的 LLM 架构。
排序理由 该集群包含一篇详细介绍 Transformer 架构缩放新方法的论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.13491v1 Announce Type: cross Abstract: Looped Transformers scale sequential computation by applying a compact stack of physical blocks for multiple rounds, increasing unrolled depth without increasing stored parameters. This reuse changes the residual-scaling problem: …
Looped Transformers scale sequential computation by applying a compact stack of physical blocks for multiple rounds, increasing unrolled depth without increasing stored parameters. This reuse changes the residual-scaling problem: in an untied Transformer, each residual branch rec…