Narang et al. (2021)

研究发现 Transformer 修改在 1-3B 参数规模下无法迁移

一项近期研究重新评估了 Transformer 模型修改的有效性，发现大多数修改在扩展到 10 亿至 30 亿参数时仍未产生显著改进。研究人员测试了 2021 年后引入的 20 项修改，使用了下游评估指标，并控制了数据、计算和训练方法等变量。研究结果在很大程度上呼应了 2021 年的一项研究，只有少数几项修改显示出益处，其中一项在更大规模下被证明不稳定。该研究强调了在架构比较中进行严格报告、下游评估和跨尺度稳定性测试的必要性。