MIT AI Risk Repository

新的基准测试正在应对复杂环境中的 AI 代理安全问题

研究人员正在开发新的基准测试来解决 AI 代理的安全风险，特别是在多代理和交互式环境中。GT-HarmBench 在博弈论场景中评估前沿模型，揭示了在高风险情况下存在的重大缺陷。Boiling the Frog 和 AgentThreatBench 专注于传统基准测试所忽略的渐进式攻击和间接提示注入，同时评估任务效用和安全性。这些努力旨在为超越简单文本生成的 AI 系统创建更鲁棒的评估方法。