研究人员在大型多语言大型语言模型中识别出“桥接路由头”（BRHs），揭示了这些模型如何处理跨不同语言的多跳推理。研究发现，BRHs在很大程度上是语言特定的，在Llama 3.1 70B和Qwen 2.5-72B等模型中，英语、西班牙语、法语、德语和中文等语言的电路之间几乎没有重叠。消除这些头会显著降低推理性能，而在失败的实例中放大它们可以在不重新训练的情况下将准确性提高多达51.7%，证明了激活级别干预纠正跨语言推理错误的潜力。 AI
影响 识别出大型语言模型中多语言推理的具体内部机制，可能指导未来的模型开发和可解释性工作。
排序理由 研究论文，详细介绍了关于大型语言模型内部机制的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
