研究人员在用于长链式思考（CoT）痕迹的语言模型（LLM）训练数据中发现了一种称为“有害延续”的现象。当推理过程超出了支持答案的必要范围，并且这种不相关的推理被包含在监督目标中时，就会发生这种情况。实验表明，移除这种结论后的延续可以改善LLM的微调结果，这表明它会对训练产生负面影响。该研究还通过观察持续的局部不确定性和减弱的方向性进展来表征这种有害延续，从而开发了一种称为“有害延续裁剪”（HCC）的代理方法来近似其边界。 AI
影响 识别出LLM训练数据中的一个具体问题，该问题可能会影响性能，并提供了一种缓解该问题的方法。
排序理由 该集群包含一篇学术论文，详细介绍了关于LLM训练数据的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
