ShadowFPT

新的ShadowFPT攻击利用了联邦提示调优中冻结的主干网络

研究人员开发了一种名为ShadowFPT的新后门攻击，该攻击针对大型视觉语言模型中的联邦提示调优（FPT）。该攻击利用了模型的冻结主干网络，允许恶意客户端通过优化针对冻结编码器的“影子触发器”来注入后门行为。该触发器将触发的输入错误地引导至表示空间中的目标类别，而客户端的提示更新则保持隐蔽。ShadowFPT在保持干净准确率的同时显著提高了攻击成功率，表明仅关注提示更新异常的防御措施是不够的。