Prompt-Invariant RLVR

新的RLVR方法增强了多模态LLM在提示变化下的鲁棒性

研究人员开发了一种名为提示不变RLVR（PIRL）的新方法，以提高多模态大语言模型（MLLMs）在使用可验证奖励强化学习（RLVR）时的鲁棒性。标准的RLVR方法很脆弱，提示的微小变化会显著降低性能，这对于高风险应用来说是个问题。PIRL通过在奖励信号中分离内容和格式，并训练模型对语义等价的提示变化保持不变来解决这个问题。与GRPO等现有方法相比，这种方法在压力测试和动态评估下表现出显著更好的性能。