实体
Recursive Transformers
Recursive Transformers
PulseAugur coverage of Recursive Transformers — every cluster mentioning Recursive Transformers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Tiny Recursive Message Passing 提升AI推理能力，模型参数高效
研究人员开发了一种名为 Tiny Recursive Message Passing (TRMP) 的新方法，该方法将消息传递神经网络与递归 Transformer 相结合。该方法通过实现深度递归的稳定训练并纳入测试时程序，从而提高了复杂推理任务的性能。TRMP 模型展示了参数效率，在 Sudoku-Extreme 等任务上取得了高精度，参数数量和训练时间均显著少于现有的神经网络基线，同时还表现出对更大问题实例的零样本迁移能力。
-
递归 Transformer 在有限数据上表现出改进的性能
研究人员开发了递归 Transformer，与标准 Transformer 相比，它们在数据有限的条件下表现更好。这些新模型重用共享块并采用因子化嵌入来优化参数使用并减少词汇映射参数。在各种数据预算和语料库上的实验表明，递归 Transformer 在使用 1000 万到 1 亿词进行训练时优于标准模型，并在 BabyLM 挑战赛 2025 中保持与顶级模型的竞争力。