Function Hijacking Attacks

新的函数劫持攻击威胁代理AI模型

研究人员发现了一种名为函数劫持攻击（FHA）的新型安全威胁，该威胁针对利用函数调用功能的代理AI模型。这些攻击会操纵模型的工具选择过程，强制调用攻击者选择的函数，绕过语义理解，并在不同领域和函数集中保持有效。FHA在包括指令模型和推理模型在内的各种LLM上都显示出很高的成功率，并且在不同模型大小和系列之间具有可转移性，这凸显了代理AI系统对强大安全措施的迫切需求。