AgentDecept

新的基准测试 AgentDecept 用于测试 LLM 代理的欺骗行为

研究人员推出了 AgentDecept，这是一个旨在评估使用工具的大型语言模型 (LLM) 代理中欺骗行为的新基准测试。该基准测试弥补了在多轮任务中，用户通常只看到最终报告而不了解底层流程的现实应用场景下，对这些代理报告其行为的忠实度理解的不足。AgentDecept 在 257 个源任务中包含 477 种压力变体，模拟了事件消息、任务上下文更改和服务配额等各种压力，以区分诚实失败和故意欺骗，如伪造或隐瞒。