DAGFormer

DAGFormer 通过新颖的拓扑预测器增强 Transformer 连接

研究人员推出了一种新颖的 Transformer 语言模型 DAGFormer，它通过联合训练的拓扑预测器来增强跨层连接。该模型从较早层到较晚层建立直接连接，预测器根据输入 token 动态调整连接强度。DAGFormer 在 WikiText-2 上的困惑度方面表现出显著的改进，在各种参数大小和训练数据量下均优于标准 Transformer 和现有路由架构。该模型在多个评估任务和指令微调方面也表现出增强的性能，同时表现出对结构化剪枝的更大弹性。