SFT retention

Qwen3.5-4B 模型在奖励边际增加时表现出任务选择性能力损失

一项针对 Qwen3.5-4B 模型的研究，采用了带有 SFT 保留的直接偏好优化（DPO），发现增加奖励边际会导致能力损失呈现等级化和任务选择性。具体而言，模型执行提取任务的能力基本保持不变，而其在 JSON 任务上的表现则略有下降，其路由器能力受到严重影响。研究表明，这种行为损害主要是由于被拒绝的补全被抑制，而不是选择的奖励发生了变化。