Correctness Conditioning

新方法通过关注正确答案来评估AI思维链的忠实度

研究人员开发了一种名为“正确性条件化”的新方法来评估AI模型思维链（CoT）推理的忠实度。该技术侧重于模型最终答案正确的实例，旨在更准确地衡量其推理过程。通过分析一个包含七个变量的结构因果模型，该研究识别并量化了此选择步骤引入的差距，并将其与其他偏差区分开来。在算术任务上的实验，包括一次使用GLM-5.3的运行，显示出正向选择差距，表明将评估限制在正确答案上可能会高估忠实度。