MMLU-HS-Math

ARBITER 方法通过分析推理轨迹盆地来提高 LLM 的准确性

研究人员推出了一种名为 ARBITER 的新颖方法，旨在通过解决测试时采样中的失败来提高语言模型的准确性。标准的采样方法会生成多个推理路径并通过多数投票选择答案，但这可能导致选择不正确的答案，如果它们属于最稳定而非最准确的推理盆地。ARBITER 仅使用模型自身的采样输出和隐藏状态来模拟这些盆地之间的交互，通过增加证据来增强共识。该方法在各种模型和基准测试中都显示出了一致的准确性提升，在没有外部信息的情况下恢复了很大一部分潜在的性能改进。