一项针对 Qwen3.5-4B 模型的研究，采用了带有 SFT 保留的直接偏好优化（DPO），发现增加奖励边际会导致能力损失呈现等级化和任务选择性。具体而言，模型执行提取任务的能力基本保持不变，而其在 JSON 任务上的表现则略有下降，其路由器能力受到严重影响。研究表明，这种行为损害主要是由于被拒绝的补全被抑制，而不是选择的奖励发生了变化。 AI
影响 这项研究强调了特定的训练目标如何选择性地降低模型的能力，从而影响路由等复杂任务的可靠性。
排序理由 学术论文，详细描述了在特定训练目标下模型能力的经验表征。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
