Looped Transformers
PulseAugur coverage of Looped Transformers — every cluster mentioning Looped Transformers across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
SMELT architecture improves MoE Transformer training efficiency
Researchers have developed SMELT, a new architecture for Mixture-of-Experts (MoE) Transformers that improves training efficiency and downstream performance. By looping the middle layers of the transformer twice while ca…
-
动态相位选择控制循环Transformer中的计算扩展
研究人员发现，循环Transformer在推理过程中的计算成本由其动态相位决定，而动态相位受初始化影响。具有相同架构和目标但初始化不同的网络会进入不同的动态相位，从而导致不同的计算扩展行为。该研究详细介绍了特定的分岔机制，如鞍节点折叠和Neimark-Sacker跃迁，如何区分这些相位并影响测试时的计算量。
-
新的SCSE方法改进了用于文本任务的循环Transformer
研究人员引入了以源为中心的态演化（SCSE），这是一种旨在增强循环Transformer的新颖方法。SCSE通过确保精确的锚点不变性，解决了在不同循环深度下保持一致的隐藏状态的挑战。这种方法允许输入条件化，同时保留参考点，从而在文本补全和迁移学习等任务上提高了性能。
-
研究人员探索自适应深度和循环折叠以优化 Transformer
两篇新研究论文探索了通过动态调整深度来优化 Transformer 模型的新方法。第一篇论文《Looped Transformers 中的自适应深度》研究了学习到的停止门和轨迹读出，发现固定的先验深度监督可以带来更好的性能和实际的推理时间节省。第二篇论文《Mobius Learning: Transformers 中的循环深度折叠》介绍了一种训练架构，其中不同的数据流遵循循环移位的块顺序，允许块同时针对浅层和深层角色进行优化，并在内存…
-
DeepLoop 方法增强了 Looped Transformer 的深度缩放
研究人员推出了一种新颖的 Looped Transformer 深度缩放方法 DeepLoop。该技术通过形式化残差缩放和提出新的缩放规则来解决循环架构中的残差缩放挑战。在 GPT 类型模型上的实验表明，当激活循环深度时，DeepLoop 可提高验证损失和下游准确性，突出了参数访问计数对于稳定循环深度的重要性。
-
研究发现 LayerNorm 在循环 Transformer 中充当隐式增益控制
一篇新研究论文提出，在预 LayerNorm 的循环 Transformer 中，Layer Normalization 起到了隐式增益控制器的作用。该机制通过将块的局部 Lipschitz 常数与激活尺度成反比耦合来稳定递归，即使算子范数超过一，也能使雅可比矩阵收缩。实验表明，梯度下降主要利用非线性递归来存储记忆，而 LayerNorm 的作用是稳定而非直接的记忆路由，除非在特定的轴对齐任务中。
-
DiscoLoop架构增强了LLM的多跳推理能力
研究人员开发了DiscoLoop，一种新颖的循环架构，旨在增强大型语言模型的多跳推理能力。标准的Transformer在跨越多个推理步骤时难以保留信息，而“深度局部存储”问题加剧了这一问题。DiscoLoop通过在其循环结构中同时纳入离散嵌入和连续隐藏状态来解决这个问题。这种双通道方法显著提高了多跳推理任务的准确性并缩短了训练时间，并有望用于实际的语言模型预训练。
-
通过学习到的随机停止稳定循环 Transformer
研究人员开发了一种方法来稳定循环 Transformer 中的外推，这是一种专为可变长度算法任务设计的神经网络架构。虽然这些模型可以很好地泛化到比它们训练时更长的序列，但它们的性能可能很脆弱且高度可变。新方法将随机性引入 Transformer 在训练期间执行的循环次数，这显著降低了分布外方差。此外，还分析了一种称为 RL-Halting 的学习随机调度，表明它可以改善二元加法和 Dyck-1 等任务的准确性-稳定性权衡。
-
新研究探索用于大型语言模型的潜在变量推理，带来效率和可解释性提升
两篇新研究论文探索了改进大型语言模型推理能力的替代方法。其中一篇论文介绍了 LoTUS（Looped Transformers with parallel supervision on latents），一种使用循环深度 Transformer 进行潜在变量推理的方法，该方法有望在规模化应用中缩小与显式思维链（CoT）方法的差距并降低延迟。另一篇论文提出了离散潜在变量推理（DLR），它将连续的潜在状态转换为离散标记，以实现更稳定和可解…
-
新研究探索合并大型Transformer模型和提高循环模型稳定性
两篇新研究论文探索了增强大型Transformer模型能力和稳定性的新颖技术。第一篇论文介绍了一个可扩展的线性模式连接（LMC）框架，该框架允许合并数十亿参数的预训练Transformer，在WikiText上展示了接近零损耗的障碍，并保持了视觉Transformer在ImageNet上的高精度。第二篇论文研究了循环Transformer中的残差缩放，提出了一种新的缩放因子，该因子提高了可训练性，并允许在不同有效深度之间直接进行超参数…
-
新的LLM技术通过迭代改进和优化循环增强推理能力 · 跟踪5个来源
研究人员开发了新的方法，通过测试时扩展来提高大型语言模型（LLM）的推理能力。REVES框架使用两阶段迭代过程来增强训练数据和优化策略，重点关注从中间的“接近但未命中”的答案中学习。另外，LoopCoder-v2探索了其Transformer架构中的最佳循环次数，发现两次循环在改进收益和计算成本之间取得了最佳平衡，更多的循环会导致收益递减。另一种方法是多序列验证器（MSV），它通过改进验证器校准来提高并行测试时扩展的效率，从而更好地选…
-
新方法通过压缩CoT提升LLM推理效率
研究人员开发了新方法来提高大型语言模型中链式思考（CoT）推理的效率。HybridThinker引入了一种训练方案，在保留详细思考步骤和将其压缩到内存令牌之间取得平衡，以相似的推理时间实现了最先进的准确性。HMPO提供了一个成本效益高、单阶段的强化学习框架，能够自适应地压缩CoT，在各种任务和模型规模上显著减少令牌数量，同时准确性损失可忽略不计。另一项研究探讨了CoT和循环Transformer的内存机制，强调了与完整序列状态循环或C…
-
带层归一化的循环 Transformer 可证明地学习幂法
研究人员从理论上证明了带层归一化的循环 Transformer 如何学习用于主成分预测的幂法。该研究证明，此类模型在梯度下降训练时，会收敛到一个有效执行幂迭代的解决方案，其中每个注意力层执行一次迭代。这项工作突显了一种“算法隐式偏差”，即模型选择幂法来实现主成分预测，并显示与没有层归一化的 Transformer 相比，存在可证明的性能差距。
-
New dual-path architecture scales LLM compute and capacity
研究人员为大型语言模型（LLMs）引入了一种新颖的双路径架构，旨在有效扩展计算和容量。该架构利用了多次应用的深度子层（具有共享参数）和具有扩展前馈网络的宽子层。每令牌门（Per-token gates）动态路由信息，允许对令牌分配进行详细分析。与同等FLOPs匹配的模型相比，所提出的模型在语言建模和下游任务上表现出更优越的性能，同时使用的参数也更少。
-
循环Transformer：增强语言模型的新架构
本文介绍了循环Transformer的概念，这是一种新颖的语言模型架构，旨在提高上下文理解和动态表示能力。文章解释了传统Transformer模型如何通过注意力机制和层内学习到的变换来更新token表示。文章还触及了人工智能领域关于模型能力是更多源于规模还是数据质量的长期争论。