进化策略 vs GRPO：LLM 后训练产生不同的模型更新

一篇新的 arXiv 论文比较了用于大型语言模型后训练的进化策略（ES）和群组相对策略优化（GRPO）。虽然这两种方法在单任务和顺序学习场景中都能达到可比的准确性，但它们产生的模型更新却显著不同。ES 会引起更大、更广泛的变化，并伴有更多的离轨 KL 漂移，而 GRPO 则进行更小、更局部的调整。研究表明，无梯度和基于梯度的微调可以得出精度相似但几何形状不同的解决方案，从而影响知识保留和遗忘。 AI

影响 这项研究强调了不同的微调方法如何导致模型行为的差异，这可能会影响 LLM 中知识的保留和迁移。

排序理由 该集群包含一篇学术论文，详细比较了两种 LLM 后训练方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• DagsHub
• Evolution Strategies
• Group Relative Policy Optimization
• Grpo
• Hugging Face
• William Hoy

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →