non-vanilla operational states

研究发现：大型语言模型越狱鲁棒性易受运行状态变化影响

一篇题为《越狱鲁棒性在不同运行状态下的脆弱性》的新研究论文，揭示了当前大型语言模型（LLM）安全评估中存在的重大漏洞。研究表明，越狱的鲁棒性对模型的运行状态高度敏感，这意味着即使是系统提示的微小变化也可能极大地改变攻击成功率。研究人员观察到，即使是针对默认条件下已优化的攻击，仅因运行状态的变化，攻击成功率也可能提高多达56个百分点。这种脆弱性与模型隐藏表示的变化有关，表明单一状态评估不足以全面表征LLM的越狱鲁棒性。