CoT monitors

新研究利用信息论改进大型语言模型思维链可监控性

一篇新发表在arXiv上的研究论文探讨了大型语言模型中思维链（CoT）推理的可监控性。该研究利用信息论证明，思维链与输出之间的互信息对于可监控性是必要的，但并非充分条件。论文指出，诸如信息差距和引导误差等近似误差是可能破坏思维链监控器的关键因素。研究人员提出了一种基于互信息的实用的、无标签的训练目标，以减轻思维链的混淆和奖励黑客行为，并在各种环境中证明了其有效性。