Harmful Continuation Cut

新研究发现大型语言模型训练数据中存在“有害延续”

研究人员在用于长链式思考（CoT）痕迹的语言模型（LLM）训练数据中发现了一种称为“有害延续”的现象。当推理过程超出了支持答案的必要范围，并且这种不相关的推理被包含在监督目标中时，就会发生这种情况。实验表明，移除这种结论后的延续可以改善LLM的微调结果，这表明它会对训练产生负面影响。该研究还通过观察持续的局部不确定性和减弱的方向性进展来表征这种有害延续，从而开发了一种称为“有害延续裁剪”（HCC）的代理方法来近似其边界。