一篇题为《特洛伊木马提示：通过伪造助手消息来破解对话式多模态模型》的研究论文介绍了一种新的对话式 AI 模型安全漏洞。该技术涉及将恶意载荷注入到模型在对话历史中自己的过往消息中，模型会信任并据此行动。该论文证明，这种利用“不对称安全对齐”（模型比用户提示更谨慎对待自己的历史记录）的方法，在谷歌的 Gemini-2.0-flash-preview-image-generation 上取得了很高的攻击成功率。作者建议，这需要将验证对话上下文完整性的重点转移到协议层面，而不仅仅是过滤用户输入。然而，该论文后来被作者 Wei Duan 撤回。 AI
影响 这项研究突显了对话式 AI 中一个关键的安全缺陷，可能影响未来多模态模型的安全性和可靠性。
排序理由 研究论文详细介绍了一种新颖的 AI 安全漏洞。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
