Intent-Hiding Jailbreaks

新框架使用信息论分析大语言模型越狱

研究人员开发了一个信息论框架，用于分析和理解大语言模型中的“隐藏意图越狱”。这些攻击通过将有害请求嵌入到更大、看似良性的查询中来起作用，从而使模型更可能遵从。该框架通过将任务与被判断为有害的概率相关联来建模，目标是在包含有害目标时也能维持估计的意图。该研究探讨了查询无关和查询相关的设置，发现组合查询确实可以在一定的搜索预算内引发超出直接请求的目标行为，尽管在某些模型中较大的捆绑包大小会降低目标保留率。