content-framed monitors

新的基准评估 LLM 代理对分解和注入攻击的滥用监控能力

研究人员开发了一个新的基准来评估 LLM 代理的滥用监控能力，特别关注分解和提示注入攻击。该基准包含约 6,200 份对话记录，引入了一种用于跟踪级别监控的统一形式。它评估监控器在多大程度上能够识别代理响应变得有害的确切点，而不仅仅是将整个轨迹分类为有害。面向动作的监控器在两种攻击类型上都表现出色，而面向内容的监控器在提示注入攻击方面则遇到困难。