Reza Soosahabi

新框架揭示LLM系统指令易受编码攻击

研究人员开发了一个自动化框架，用于测试大型语言模型（LLM）系统指令在抵御编码攻击方面的安全性。这些指令通常包含API密钥和内部策略等敏感数据，其泄露会带来重大的安全风险。该框架发现，当提取请求被伪装成结构化输出任务时，模型经常会泄露机密信息，在测试模型上的攻击成功率超过0.7。一种涉及使用链式思考（Chain-of-Thought）推理进行单次指令重塑的缓解策略，在无需重新训练模型的情况下，显著降低了这些攻击的成功率。