RGSI

新的INSPIRE方法通过示例驱动的学习增强LLM的数学推理能力

研究人员开发了一种名为INSPIRE的新方法，以提高大型语言模型（LLM）的数学推理能力。该方法侧重于教会模型通过示例驱动的推理来内化数学概念，而不仅仅是记忆解决方案。INSPIRE结合了参考引导的学生内化技术和分阶段训练策略，以帮助模型学习有效地构建和利用偏好对。实验表明，INSPIRE在各种规模和模型系列中持续提高模型性能，甚至在某些基准测试中超越了更大的开源模型，同时不影响其一般的数学能力。