Chong Zhang

新型攻击通过保留语义来劫持大型语言模型的自动优化

研究人员开发了一种新的黑盒对抗性攻击方法，称为自适应贪婪局部搜索（Adaptive Greedy Local Search），旨在劫持大型语言模型中的自动建议优化模块。该技术通过微妙地改变用户输入，在保持与原始文本高度语义相似性的同时，引起模型输出的语义变化。在各种大型语言模型上的实验表明，在相似的语义约束下，该方法比现有方法在实现其攻击目标方面更成功。