Recurrent Transformers
PulseAugur coverage of Recurrent Transformers — every cluster mentioning Recurrent Transformers across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的蒸馏方法提升循环 Transformer 性能
研究人员开发了一种新的蒸馏方法来提高循环 Transformer 的性能，循环 Transformer 的设计比标准 Transformer 更有效地处理长序列。该技术通过让教师模型直接监督学生循环模型的记忆压缩来训练学生模型，教师模型处理完整的观察历史。该方法在缩小 Mem-RPE 基准和视觉问答等任务的性能差距方面取得了成功，为机器人记忆应用实现了线性时间复杂度。
-
新的MoRE架构结合了专家复用和MoE，提高了效率
研究人员推出了一种新颖的神经网络架构——混合复用专家（MoRE），它结合了循环Transformer的参数效率和混合专家（MoE）模型的能力。MoRE通过在相邻层之间共享专家池来解决传统MoE的高内存占用问题，从而在不增加参数的情况下实现更大的路由多样性。实验表明，在困惑度和下游任务方面，MoRE在各种模型规模上均优于现有的权重共享架构和标准MoE。
-
循环 Transformer 详解：架构与功能详述
本文讨论了循环 Transformer 的架构主题，并解释了它们的功能。它引导读者访问一个链接以获取更多详细信息，并鼓励订阅新闻通讯以获取有关 AI、生成式 AI 和大型语言模型的更新。
-
阿里巴巴的研究早于 OpenAI 的 GPT-6 Astra 循环 Transformer 关注点
OpenAI 即将推出的 GPT-6 Astra 模型中传闻使用了“循环深度”，这引起了人们对循环 Transformer 的关注。这种架构允许模型在参数不成比例增加的情况下实现更大的深度，方法是重复运行层。然而，这种方法面临计算冗余和潜在的监控困难等挑战，引发了人工智能安全专家之间的辩论。阿里巴巴集团一直在积极研究这些问题的解决方案，并发表了关于 MeSH 和 SpiralFormer 等方法的论文，这些方法旨在优化信息处理并减少循…