Sofiia Nikolenko

新方法通过分析中间层熵动力学检测LLM越狱

研究人员开发了一种新颖的方法，通过分析模型中间层预测熵的动力学来检测对大型语言模型（LLM）的越狱攻击。与静态聚合统计数据不同，捕捉熵随词元位置演变特征的信息量更大。这种信号在模型的中间层而非最终输出层最为明显，表明与越狱相关的信息被编码在中网络表示中。这种基于熵的方法在包括Llama、Qwen和Gemma在内的各种模型上都表现出一致的分离性，且无需额外训练。