Gumbel search

新框架 APIVIS 通过引导搜索提升 LLM 数学推理能力

研究人员开发了 APIVIS，这是一个旨在增强大型语言模型数学推理能力的新颖框架。该系统将有限预算的 Gumbel 搜索与可验证奖励（RLVR）的强化学习相结合，以增加训练展开的多样性。APIVIS 结合了直接响应和搜索响应，确保搜索过程中发现的改进能够积极影响模型的策略。该框架还纳入了选择性监督，以便在组奖励变得均匀时维持学习信号，否则这会阻碍 GRPO 算法。在既定的数学推理基准上的实验表明，APIVIS 的性能显著优于现有的基于搜索的方法。