研究人员开发了一种名为D-Judge的新防御机制，以对抗大型语言模型的多轮越狱攻击。这些攻击利用辅助裁判模型提供的反馈，通过迭代优化提示以实现有害目标。D-Judge通过在受害者LLM的响应被攻击者的裁判评估之前对其进行重写来工作，从而在不改变响应含义的情况下使反馈信号失配。这种策略会扰乱提示优化过程，从而在HarmBench等基准测试中提高安全性，同时保持在良性任务上的性能。 AI
影响 引入了一种针对复杂多轮越狱的新型防御措施，有望提高LLM的安全性和可靠性。
排序理由 该集群包含一篇详细介绍LLM安全新型防御机制的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →