研究人员在Qwen3-0.6B-Base语言模型注意力层线性化中发现了一个特定问题，模型过度依赖答案标签而非内容。尽管通过蒸馏实现了与原始模型接近的困惑度，但线性化版本在多项选择任务上表现不佳，持续偏好第一个选项。有针对性的KL蒸馏阶段成功修复了这种“接口损伤”，显著提高了基准准确性并降低了标签粘滞性。 AI
影响 突出了模型线性化中一种微妙但关键的故障模式，标准指标无法检测到，可能影响高效模型的部署。
排序理由 学术论文，详细介绍了语言模型中一个特定的技术问题及其解决方案。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
