BabyLM Challenge 2025

递归 Transformer 在有限数据上表现出改进的性能

研究人员开发了递归 Transformer，与标准 Transformer 相比，它们在数据有限的条件下表现更好。这些新模型重用共享块并采用因子化嵌入来优化参数使用并减少词汇映射参数。在各种数据预算和语料库上的实验表明，递归 Transformer 在使用 1000 万到 1 亿词进行训练时优于标准模型，并在 BabyLM 挑战赛 2025 中保持与顶级模型的竞争力。