Backdrop

新的BACKDROP基准揭示AI代理在动态环境中挣扎

一个名为BACKDROP的新基准被引入，用于评估AI代理在动态、真实世界环境中的表现，这与静态基准有显著不同。BACKDROP通过引入四种常见危险：权限、注入、边界和故障来测试代理，以评估当暴露于日常干扰时其性能如何下降。在3,678个变体和16个模型中，当所有危险都存在时，平均通过率从69.5%下降到31.3%，这表明清洁世界性能与真实世界能力之间存在巨大差距。