ROUTEBENCH

新基准测试Transformer路由能力

研究人员开发了ROUTEBENCH，这是一个新的诊断基准，旨在评估Transformer是否能有效地将其上下文学习能力路由到不同的归纳偏差。该基准包含有利于全局收缩、稀疏性、鲁棒性和局部性的模型，这些模型由各种统计模型表示。对仅解码器Transformer的实验表明，一个3.06亿参数的模型在路由和分布外泛化方面取得了显著的性能，即使任务是以自然语言呈现的。