ReA-Bench

新基准 ReA-Bench 改进了对 AI 代理行为的审计

研究人员推出 ReA-Bench，这是一个旨在评估负责任代理行为审计的新诊断基准。该基准通过将审计挑战组织成六个不同的层级来解决现有系统的局限性，包括内部安全知识、轨迹中的矛盾、证据检索、来源验证、间接引导和信息缺失。ReA-Bench 包含模仿风险行为的具有挑战性的良性案例，并提供配对的轨迹版本，以评估在信息被更改或缺失时审计员的可靠性，其中大部分样本来自真实世界的生产轨迹。