Parallel Shapley

新框架使用 Shapley 值归因大型语言模型推理路径贡献

研究人员开发了一个名为 Parallel Shapley 的新强化学习框架，以解决大型语言模型（LLMs）多步推理中的奖励归因挑战。该方法将每个推理路径视为合作博弈中的一个参与者，使用 Shapley 值量化个体贡献，并使用带有蒙特卡洛采样的生成奖励模型进行有效近似。在数学推理基准上的实验表明，与现有方法相比，Parallel Shapley 能够实现更稳定和可解释的训练，有效识别和惩罚冗余或有害的推理路径。