Looped Transformers
PulseAugur coverage of Looped Transformers — every cluster mentioning Looped Transformers across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
研究量化了循环 Transformer 中的梯度损失
一篇新的研究论文调查了截断反向传播对循环 Transformer 的影响，这是一种将单个层块重复使用多次的技术。该研究测量了仅通过最后 k 个循环反向传播所产生的梯度损失，发现损失的梯度集中在输出附近，并在微调过程中显著减少。研究还表明，用于估算训练成本的简单规则可能与直接测量梯度一样有效。
-
循环 Transformer：缩放研究中全反向传播优于截断
一篇新发表在 arXiv 上的研究论文探讨了在训练循环 Transformer 中截断反向传播（BPTT）的有效性。Xuyuan Xiong 进行的研究表明，虽然截断可以节省计算资源，但在优化循环次数的情况下，全 BPTT 通常能获得更好的结果。研究发现，循环次数较少且使用全 BPTT 的模型，其性能始终优于计算量相同的截断设置。当模型规模也灵活调整时，最优配置涉及两个完全训练的循环，与非循环模型相比，在参数更少且训练计算量仅略微增加…
-
不对称循环 Transformer 提升语言模型效率
研究人员推出了一种新颖的架构——不对称循环 Transformer (AsymLoop)，它通过将上下文编码与迭代状态精炼分离开来，从而提高了语言模型的效率。该设计使用来自单通道编码器的固定全局键值缓存，以及一个从其不断变化的状态生成局部键值缓存的循环解码器。在 FineWeb-Edu 数据集上的实验表明，与标准的循环 Transformer 相比，AsymLoop 在下游任务准确性方面取得了更低的验证困惑度和更高的准确性，其中一个 …
-
LoopAhead 框架将循环 Transformer 的解码速度提高了 7.82 倍
研究人员开发了 LoopAhead，这是一个新的投机解码框架，旨在加速循环 Transformer 的解码过程。该方法通过使用轻量级的超前起草器 (LAD) 来预测基于早期循环状态的多个 token，从而允许更早地起草未来的 token。然后，更深的循环反馈会指导选择哪些起草分支，最终与传统的自回归解码相比，解码速度提高了 7.82 倍，同时保持了原始模型的输出分布。
-
循环Transformer在超出训练深度后难以保留答案
一篇新的研究论文探讨了循环Transformer的行为，这种模型通过重复应用单个块来处理信息。研究发现，尽管这些模型在超出其训练深度的扩展循环次数下可以准确计算，但它们保留正确答案的能力却显著下降。具体来说，在循环次数32下训练的模型在循环次数64下仅保留了22%的答案。该研究还区分了计算、保留和复用，证明即使是具有高保留率的模型在状态复用方面也存在困难，这表明学习计算并不等同于有效地学习保留或复用信息。
-
新的测试时预测框架使基础模型能够预测未见的动力学
研究人员引入了一个名为测试时预测（TTF）的新框架，使基础模型能够预测未见动力学系统的动力学。该框架利用循环 Transformer 和梯度下降作为循环深度来模拟偏微分方程（PDE）、常微分方程（ODE）和时间序列的传播器。经过一步预测训练的 TTF 模型在自回归展开过程中表现出对分布外系统动力学的泛化能力。
-
块状一致性注入增强循环Transformer的性能
研究人员引入了一种名为块状一致性注入的新技术，以提高循环Transformer的性能。该方法通过将残差分割成坐标对齐的组并在组内进行旋转，来解决在递归步骤中保持可读信息这一挑战。实验表明，该方法在诸如最后词元准确率等状态跟踪任务以及长距离依赖至关重要的语言建模任务中，能够提升性能。
-
Microsoft 确认 OpenAI 在 GPT-6 系列中使用了 Looped Transformers
Microsoft 已确认 OpenAI 在其 GPT-6 系列模型中使用了 Looped Transformers。此确认最初出现在一个 Microsoft 网页上，证实了此前关于此事的报道。据报道，GPT-6.1 Sol 模型使用了两次推理，比之前的迭代有所减少，并且基于与 GPT-6 Sol 相同的基本模型权重，差异源于训练后和循环次数的减少。然而，Microsoft 此后已从其网页上删除了此信息。
-
深度自注意力网络通过深度实现通用插值
研究人员在深度残差自注意力网络中展示了通用插值能力，这是学习架构受益于缩放定律的关键特性。该研究侧重于完全通过深度实现近似能力，并在层之间进行显著的参数共享，其灵感来源于 Looped Transformers 等模型。他们的主要发现表明，一组固定的、冻结的两个单头块，并带有高斯初始化的投影矩阵，可以将任何序列集合映射到任何其他序列集合，应用顺序和持续时间会适应特定的插值任务。这对于连续和有限深度的残差 softmax 注意力都成立，…
-
新研究优化专家混合模型以提高效率和鲁棒性 · 跟踪9个来源
近期研究探讨了多种增强专家混合（MoE）模型的方法，重点关注优化专家容量、路由和训练鲁棒性。论文研究了如何塑造专家以获得更好的性能，管理跨层的容量分配，并通过考虑专家损失方差来提高训练稳定性。其他工作则解决了多语言MoE扩展、表格数据学习和类增量图学习中的挑战，提出了新颖的架构和训练技术来缓解近期偏见等问题并提高效率。
-
新研究详细介绍了循环 Transformer 中的量化失败
研究人员在循环 Transformer 的训练后量化 (PTQ) 中识别出两种关键的失败模式，这些 Transformer 在递归步骤中重用权重。第一种称为“反馈暴露”，当量化层在没有恒等路径的情况下扰乱递归状态时发生，导致错误放大。第二种“校准盲目性”源于量化方法，这些方法基于初始激活值进行计算，而忽略了递归中的后续状态。在 Huginn-3.5B 和 Mamba 等模型上的实验证明了这些问题，而跨递归步骤累积 Hessian 的解…
-
新研究探索Transformer模型的效率和稳定性
研究人员正在探索新的方法来提高Transformer模型的效率和性能，特别是那些采用循环的Transformer模型。其中一种方法LoopCD提供了一个无需训练的框架，通过对比最终预测与早期循环传递来提高解码质量，在代码生成和推理等任务中取得了显著的进步。另一个研究领域侧重于理解和稳定深度图Transformer，分析其动力学系统以防止表示崩溃并改进图生成。此外，研究正在调查循环Transformer如何在共享权重中路由计算，表明中间…
-
新的 Foil 方法优化循环 MoE 模型以更好地利用专家
研究人员引入了一种名为 Foil 的新方法，用于优化循环 Transformer 架构中的专家混合（MoE）模型。Foil 通过展平专家和解开注意力机制来解决如何在固定的计算预算下最佳地分配专家和传递。实验表明，Foil 的性能优于基线循环 MoE 模型，在预训练损失更低，下游准确率相当或更好，尤其是在增加展平和每层专家数量的情况下。
-
Transformer架构调整提高了缩放效率，优于GPT-3
研究人员已经证明，对Transformer进行架构修改可以显著改变缩放指数，从而在相对于计算量的性能上实现指数级提升。通过引入递归深度等概念，例如“循环Transformer”和“边界算子”，模型可以实现更高的效率。一个利用模型增长的7.4B参数架构，以20倍的计算量优势匹配了13B参数GPT-3模型的性能，显示出效率增益随规模的增大而增大。
-
循环Transformer：有限步失败分析
研究人员分析了循环Transformer中一种现象，即迭代推理可能导致对参考答案的支持减少，从而导致有限步失败。当局部有利的更新方向导致有害的完全更新时，就会发生这种情况。该研究提出了一种方法，使用路径曲率分解和局部二次模型来表征这种进展损失，该模型可以预测增益和有用的步长。在数学和常识任务上的实验表明，采取所提出的位移的固定四分之一步长可以在相当大比例的失败中为参考效用带来积极的收益。
-
T-LoopFormer 引入动态令牌路由以实现高效的循环 Transformer 推理
研究人员推出了一种新颖的循环 Transformer 架构 T-LoopFormer，旨在增强推理和语言任务。该新模型采用动态令牌选择路由机制，允许每个令牌根据其隐藏状态调整计算深度。这种自适应方法确保简单令牌绕过不必要的处理，而复杂令牌则接受更深入的分析，从而优化计算分配。此外，T-LoopFormer 采用递归式 KV 缓存，为每个循环维护独立的缓存，防止冗余计算并提高解码效率。实验表明，与现有模型相比，T-LoopFormer …
-
新的投机式解码方法提高了LLM推理速度 · 跟踪7个来源
研究人员正在推进大型语言模型的投机式解码技术，以提高推理速度。两篇新的arXiv论文，ECHO和LoopSpec，分别引入了分层和流水线方法来优化草稿候选生成和验证。ECHO使用早期层奖励logits进行快速草稿探索，而LoopSpec则利用循环Transformer中的中间状态进行流水线草稿生成。另一篇关于Orthrus的论文质疑了投机式解码的“无损”声明，强调了数值精度对输出一致性的影响，而另一项关于Carryover Draft…
-
理论性AI进展：GPT-6 Astra、循环Transformer和隐藏推理
Sebastian Raschka 的文章《GPT-6 Astra、循环Transformer和隐藏推理》探讨了大语言模型的理论性进展。文章深入探讨了“循环Transformer”和“隐藏推理”等概念，认为它们是未来AI发展的潜在途径，并特别提到了假设性的“GPT-6 Astra”。
-
Sebastian Raschka 详解 GPT-6 Astra 和循环 Transformer
Sebastian Raschka 发布了一篇全面的文章，详细介绍了 GPT-6 Astra 和循环 Transformer 的概念。文章探讨了循环 Transformer 的机制、相关的成本权衡以及它们对推理轨迹可见性的潜在影响。文章还包含大量图示和对循环 Transformer 领域近期研究的回顾。
-
循环AI模型显示出全局工作区形成，但访问方式有所改变
研究人员调查了循环神经网络中是否会出现全局工作区（意识的功能类似物）。他们使用了一种适用于迭代架构的“雅可比矩阵透镜”，分析了两个循环模型 Ouro-2.6B 和 Huginn-0125，并将它们与标准的前馈 Transformer 模型 Qwen3.6-27B 进行了比较。研究发现，虽然循环模型中确实形成了工作区，但其可访问性会受到循环结构的影响，从而改变信息在深度上的读取、写入和消融方式。