研究人员开发了一个名为CIKA的新框架,通过识别因果相关的概念来提高大型语言模型(LLM)的数学推理能力。与以往处理虚假关联的方法不同,CIKA利用LLM本身作为干预模拟器来估计掌握特定概念的因果效应。这种方法被形式化为干预能力探测器(ICP),成功地区分了因果相关的概念和无关的概念,并展示了预测解决问题成功率的能力。当应用于一个固定的7B参数LLM时,CIKA在Omni-MATH-Rule和GSM8K等基准测试中显著提高了性能,表明它可以激活基础模型已有的潜在知识。 AI
影响 通过实现知识的因果发现来增强LLM的推理能力,有望在复杂领域中实现更可靠和可解释的AI系统。
排序理由 学术论文,详细介绍了一种改进LLM推理的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →