LLM Object Notation

新的 LLMON 框架增强了大型语言模型对抗提示注入的安全性

研究人员开发了 LLMON（LLM 对象表示法），这是一种旨在增强大型语言模型（LLM）安全性和可靠性的后训练方法。该框架将可执行指令与被动数据分开，需要基于显式标识符的执行来缓解提示注入等漏洞。通过对包括检索增强生成和工具调用示例在内的大型结构化数据集进行训练，LLMON 将间接提示注入的成功率从 50% 以上显著降低到 6% 以下，同时保持了通用能力。该方法还引入了新的可解释性指标来诊断 Transformer 层内的故障模式，表…