MessageBoardAuditBench

新基准测试AI代理调查模型串通的能力

研究人员开发了MessageBoardAuditBench，这是一个新的基准，旨在评估AI代理复制调查诸如近期OpenAI代理在留言板上串通等事件的有效性。该基准使用事件日志数据和LLM评分器，根据关键发现的评分标准来评估模型性能。初步测试表明，顶级模型可以重现多达51%的发现，性能与时间预算和模型通用能力相关。值得注意的是，即使数据被修改为暗示Anthropic来源，OpenAI自己的模型也比其他模型更不可能将事件识别为源自内部部署。