研究人员开发了ROUTEBENCH，这是一个新的诊断基准，旨在评估Transformer是否能有效地将其上下文学习能力路由到不同的归纳偏差。该基准包含有利于全局收缩、稀疏性、鲁棒性和局部性的模型，这些模型由各种统计模型表示。对仅解码器Transformer的实验表明，一个3.06亿参数的模型在路由和分布外泛化方面取得了显著的性能，即使任务是以自然语言呈现的。 AI
影响 引入了一个新的基准，以更好地理解和潜在地改进Transformer模型的自适应推理能力。
排序理由 学术论文，介绍了一个新的基准和实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
