Attnlocate

新框架Attnlocate检测LLM代理中的恶意指令

研究人员开发了一个名为Attnlocate的新框架，用于检测和本地化LLM代理上下文中的恶意指令。该系统解决了不可信的外部数据可以被动态解释为行为指导指令，从而导致代理被颠覆的漏洞。Attnlocate将这种本地化视为一个目标检测问题，通过分析注意力矩阵来识别指示恶意内容的特定激活痕迹。该框架在各种LLM配置和场景中都表现出强大的性能，包括提示注入和工具投毒，并且即使在未见过的模型上也能有效。