Causality Reward on Scrambled CoTs

新的CRoS指标通过打乱思维链步骤来增强LLM推理

研究人员引入了CRoS，一种用于评估语言模型思维链（CoT）推理因果关系的新指标。与之前扰动推理步骤的方法不同，CRoS在不改变内容的情况下打乱了这些步骤的顺序，旨在更好地分离真正的因果关系。这种方法旨在防止结果奖励可能带来的信息量减少或自我纠正等问题。在使用Gemma 3-4B模型在Reasoning Gym上进行的评估中，CRoS在准确性、CoT质量和忠实度方面均优于现有的因果关系和结果奖励。