一篇新发表在arXiv上的研究调查了不同语言模型架构如何实现相似的任务功能。研究人员发现，即使在表现相似的情况下，负责任务执行的具体电路在不同的模型家族中也存在显著差异。该研究提出了一个分类法，用于对已识别电路与任务模式之间的关系进行分类，并提出混合专家（MoE）模型可能在基础的位置基底上构建任务电路。 AI
影响 揭示了任务实现因模型架构而异，影响了可解释性和研究结果的可迁移性。
排序理由 该集群包含一篇详细介绍语言模型机制研究的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →