Persistent Semantic Entities

新研究将LLM代理中的隐藏状态识别为持久语义实体

一篇新的研究论文引入了持久语义实体（PSE）的概念，用于描述工具增强的LLM代理中的隐式状态。这些实体可以在会话之间持久存在并在代理之间传播，但标准调试方法几乎无法检测到它们。研究发现，所有经过测试的模型，参数量从1.5B到1T不等，都容易受到PSE的影响，其中名称绑定是主要机制。由于许多模型中存在持久性且缺乏自我纠正能力，偏好和指令污染被确定为特别令人担忧的攻击面。