Bridge Routing Heads

大型语言模型中发现新的“桥接路由头”用于多语言推理

研究人员在大型多语言大型语言模型中识别出“桥接路由头”（BRHs），揭示了这些模型如何处理跨不同语言的多跳推理。研究发现，BRHs在很大程度上是语言特定的，在Llama 3.1 70B和Qwen 2.5-72B等模型中，英语、西班牙语、法语、德语和中文等语言的电路之间几乎没有重叠。消除这些头会显著降低推理性能，而在失败的实例中放大它们可以在不重新训练的情况下将准确性提高多达51.7%，证明了激活级别干预纠正跨语言推理错误的潜力。