Lingjie Zeng

研究发现：大型语言模型中的思维链压缩会损害可信度

一篇新发表在arXiv上的研究调查了压缩长思维链（Long-CoT）推理对语言模型的影响。研究人员发现，虽然压缩方法可以降低推理成本和代币使用量，但它们常常导致可信度下降，影响安全性、幻觉抵抗能力和多语言能力。该研究提出了一个标准化的效率得分来更好地评估这些权衡，并引入了一种与对齐相关的直接偏好优化（DPO）变体，该变体在可信度损失极小的情况下实现了显著的长度缩减。