Runway-Aware Rewiring

新的“Runway Cascade”方法增强了Transformer语言模型

研究人员推出了一种名为“Runway Cascade”的新方法，用于改进语言建模中使用的仅解码器Transformer模型。该方法通过形式化“runways”（token之间的间接信息路径）的概念来解决Transformer中潜在的故障模式。提出的“runway感知重布线”机制将runway上下文直接集成到注意力机制中，而无需添加新参数。与标准Transformer相比，该方法在通用语言建模、信息检索和外推能力方面显示出实证改进。