研究人员推出了一种名为奖励-方差策略优化（RVPO）的新型框架，旨在提高大型语言模型与多个目标的一致性。与现有平均奖励的方法不同，RVPO惩罚不同奖励信号之间的方差，从而促进一致性并防止关键约束被忽略。该方法在涉及医学和科学推理以及工具调用的任务上进行了评估，在HealthBench等基准测试中表现出改进的性能，并在GPQA-Diamond上保持了准确性。 AI
影响 RVPO通过确保在多目标对齐过程中不忽略关键约束，可能提高LLM的可靠性。
排序理由 这是一篇详细介绍语言模型对齐新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Current critic-less RLHF methods aggregate multi-objective rewards via an arithmetic mean, leaving them vulnerable to constraint neglect: high-magnitude success in one objective can numerically offset critical failures in others (e.g., safety or formatting), masking low-performin…
arXiv:2605.05750v1 Announce Type: new Abstract: Current critic-less RLHF methods aggregate multi-objective rewards via an arithmetic mean, leaving them vulnerable to constraint neglect: high-magnitude success in one objective can numerically offset critical failures in others (e.…