Rodrigue De Schaetzen

新的GRPO变体旨在改善LLM与多样化偏好的对齐

两篇新研究论文介绍了用于将大型语言模型（LLM）和视觉语言模型（VLM）与多样化用户偏好对齐的组相对策略优化（GRPO）框架的变体。第一篇论文《个性化GRPO》（P-GRPO）通过将优势估计与批次统计解耦，解决了标准GRPO压制少数派偏好的问题，从而实现了更快的收敛和与异构信号更好的对齐。第二篇论文《受限GRPO》通过使用基于拉格朗日的方法并将标准化优势标量化而非奖励，将GRPO扩展到安全关键领域，从而提高了约束依从性和稳定性。