Rohan Saha

研究发现 Transformer 模型分阶段学习潜在结构

一篇新发表在 arXiv 上的研究论文探讨了 Transformer 模型在训练过程中如何学习潜在结构。研究人员使用 Alchemy 基准测试，观察到 Transformer 在不同阶段获取结构的不同组成部分。研究发现，虽然模型能有效地组合基本转换，但在分解复杂示例以推断原子转换方面存在困难。研究还确定了在哪些特定层和时间窗口冻结参数会显著影响模型完成这些学习阶段的能力。