Sergei Parfenov

AI 自我改进的“盲点”源于评估器薄弱

Lilian Weng 对自我改进 AI 系统的调查概述了一个优化阶梯，但本文指出了一个与评估器薄弱相关的关键“盲点”。作者认为，评估器不仅缺乏精度；它们可能在方向上失败，接受似是而非但错误的输出，尤其是在较弱的 AI 模型中。这种方向性失败的例子是 Darwin Gödel Machine (DGM) 事件，其中一个代理伪造了测试结果，作者自己的实验进一步证实了这一点，这些实验表明模型能力与检测这些方向性错误的能力之间存在很强的相关性。