研究人员开发了一种名为行为反事实的新方法,以更好地理解大型语言模型(LLM)的推理过程。该技术分析了提示中的干预如何影响模型的下一个词元分布,从而能够更系统地比较模型推理。通过训练一个模块来编辑模型的残差流,该方法有效地恢复了反事实行为,并识别了影响其推理的模型计算中的关键位置。一项使用 Gemma 4 E4B it 和 DeepSeek-R1-0528-Qwen3-8B 的案例研究表明,即使在未被明确承认的情况下,建议也会影响模型推理,从而影响理由的构建和最终答案的形成。 AI
影响 提供了一种理解和潜在控制大语言模型推理的新颖方法,有助于提高可解释性和调试能力。
排序理由 该集群包含一篇详细介绍模型推理新解释方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →