The Answer Is Not the Argument

AI监督器在获得答案后得到改进，但推理验证仍薄弱

一篇题为“答案并非论证”的新研究论文探讨了思维链监控对于AI监督的有效性。研究发现，为AI监督器提供可信的参考答案，可以显著提高它们检测错误的能力，尤其是在识别不正确的最终输出方面。然而，这种对答案的访问并未实质性地提高监督器验证推理过程本身健全性的能力，特别是当最终答案正确但底层逻辑存在缺陷时。研究结果表明，当前的评估方法可能高估了AI监督能力，因为可接受的输出可能会掩盖不健全的推理，这种现象类似于AI安全中的奖励攻击。