研究人员开发了一种名为 ReMaRk 的新方法，用于改进大型语言模型 (LLM) 推荐器的训练，特别是在像 Reddit 这样的具有多个正确答案的数据集上。传统的 Rank-GRPO 等方法通过奖励生成的列表与单个选定回复进行训练，这可能导致模型模仿选定回复，而不是生成一个普遍良好的列表。ReMaRk 通过将每个生成的列表与所有可用回复的并集进行联合评分来解决这个问题，从而使强化学习过程更有效率且成本更低。该方法在各种 LLM 主干和数据集上，以显著更少的计算资源，展示了与 Rank-GRPO 相当或更优的性能。 AI
影响 这项研究可能带来更有效率和更有效的 LLM 推荐器，尤其是在输出多样或有多个正确输出的场景中。
排序理由 该集群包含一篇详细介绍 LLM 新训练方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- LLM
- ProtoQA
- Rank-GRPO
- ReMaRk
- XINLI1997/ReMaRk-data
- XINLI1997/ReMaRk-Qwen3.5-4B-RedditV2-ReMaRk-s3407
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
