新研究揭示多语言LLM数学训练奖励中的偏见

一篇新研究论文指出，在多语言可验证奖励强化学习（RLVR）中存在显著偏见，RLVR是训练大型语言模型进行数学推理的常用技术。研究发现，旨在语言中立的精确匹配验证器，在日语、英语和标准中文等语言中，会以不同速率错误地惩罚正确答案。这种偏见局限于最终答案界面，并造成了跨语言选择瓶颈，阻碍了有效训练。研究人员建议在优化之前，按语言和界面审计RLVR奖励，以解决这些问题。 AI

影响 凸显了多语言LLM在推理任务训练中的一个关键缺陷，可能影响面向不同语言用户的模型开发。

排序理由 该集群包含一篇详细介绍LLM训练方法新发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• English
• Japanese
• Llama 3.1 8B-Instruct
• MATH-500
• Qwen3-4B
• Qwen3_8B
• RLVR
• rule-GRPO
• Standard Chinese

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →