研究人员开发了一种新颖的黑盒对抗性攻击,针对生成式OCR视觉语言模型DeepSeek-OCR。该攻击仅基于解码后的字符串输出进行操作,无需访问模型内部的梯度或logits等信息。该方法将攻击视为一个零阶优化问题,使用随机方向有限差分方案来估计梯度,并使用带有ell_infinity投影的Adam优化器来实现不可感知的图像扰动。对DeepSeek-OCR的初步实验揭示了显著的定性解码器故障,包括重复、截断和提示泄露,尽管有针对性的重写更具挑战性。 AI
影响 这项研究突显了先进OCR系统潜在的安全漏洞,促使对鲁棒性防御进行进一步研究。
排序理由 详细介绍新对抗性攻击方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →