Dayu Wang

新方法利用几何探测将大型语言模型的数学推理能力提高 62%

研究人员推出了一种名为谱正交探索 (SOE) 的新框架，旨在解决大型语言模型在复杂数学任务中出现的“推理崩溃”问题。SOE 在“学生指导教师”范式下运行，其中较弱的模型不模仿，而是探测教师模型在其主导推理子空间的正交方向。这种干预鼓励更多样化的推理轨迹，从而在数学基准测试中显著提高准确性和采样效率。初步结果还表明 SOE 在逻辑和代码生成任务中也有效。