AgentDrift

研究揭示LLM代理劫持检测器的局限性

一篇新发表在arXiv上的研究论文调查了旨在识别被劫持的大型语言模型（LLM）代理的检测器的有效性。研究发现，标准评估通常无法捕捉真实世界的场景，在审计评估中，相当比例的测试样本表现出攻击或异常。研究强调，当遇到未见的工具或攻击率较低时，检测器的性能会显著下降，并且在某个基准上训练的检测器在另一个基准上的表现很差。这些发现促成了一个用于更好地评估痕迹检测器的建议清单。