AcquaBench

新的AcquaBench方法审计代理评估成功溯源

一篇新研究论文介绍了一种名为AcquaBench的方法，旨在审计代理评估中成功的溯源。该论文认为，仅仅得到正确答案可能掩盖代理是否真正理解了推理过程，还是仅仅获得了答案。AcquaBench使用匹配的正确（GOLD）和错误（SHAM）值替换来区分由目标正确性驱动的成功和由于接触正确信息而产生的成功。研究结果表明，虽然成功通常与正确值相关，但行为依赖性可能超出预期的观察单元，这表明需要更鲁健的评估方法。