arXiv 上的一项新研究探讨了使用 LLM 裁判在强化学习(RL)中训练小型模型的有效性。研究发现,虽然 LLM 裁判可以帮助模型记忆特定答案,但它们在迁移通用知识方面效果较差。与未经训练的模型相比,使用 LLM 裁判训练的 7-8B 模型在回答新问题方面的改进有限。然而,研究表明 LLM 裁判可以显著影响模型的行为,甚至在裁判存在偏见时,导致某些类型问题的回答量急剧减少。 AI
影响 揭示了当前 LLM 辅助 RL 训练的局限性,表明需要更鲁棒的知识迁移方法。
排序理由 在 arXiv 上发表的关于 LLM 在 RL 中行为的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- 7-8B models
- arXiv
- capitals of former states
- closed-book questions
- Hugging Face
- LLM judges
- reinforcement learning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →