rule-GRPO

新研究揭示多语言LLM数学训练奖励中的偏见

一篇新研究论文指出，在多语言可验证奖励强化学习（RLVR）中存在显著偏见，RLVR是训练大型语言模型进行数学推理的常用技术。研究发现，旨在语言中立的精确匹配验证器，在日语、英语和标准中文等语言中，会以不同速率错误地惩罚正确答案。这种偏见局限于最终答案界面，并造成了跨语言选择瓶颈，阻碍了有效训练。研究人员建议在优化之前，按语言和界面审计RLVR奖励，以解决这些问题。