SyncBreaker

新的SyncBreaker框架针对AI谈话头像生成的对抗性攻击

研究人员开发了SyncBreaker，一个旨在防御音频驱动的谈话头像生成模型对抗性攻击的新型框架。这种多模态方法同时针对生成内容的视觉和音频组件，旨在降低唇部同步和面部动态。SyncBreaker采用阶段感知技术，包括使用多区间采样（Multi-Interval Sampling）来抵消图像流的监督，以及使用交叉注意力欺骗（Cross-Attention Fooling）来欺骗音频流，从而在保持输入感知质量的同时有效扰乱生成过程。