两篇新的研究论文介绍了用于增强大型语言模型(LLM)安全对齐的高级对抗性协同进化框架。第一个,DACE,通过为攻击者采用归一化的边际覆盖增益奖励,为防御者采用贝叶斯对抗性回放池,来解决攻击策略崩溃和防御对抗性遗忘问题。第二个,MACE,利用蒙特卡洛树搜索来指导攻击者和防御者策略,将搜索转化为学习信号,并构建一个时间不对称的课程。两种方法都旨在提高LLM在不断演变的对抗性攻击下的鲁棒性,同时保留通用能力,其中MACE与基线防御相比,平均攻击成功率有所降低。 AI
影响 这些框架旨在创建更具弹性的LLM,能够抵御复杂的对抗性攻击,从而可能在敏感应用中更安全地部署。
排序理由 两篇在arXiv上发表的学术论文,详细介绍了LLM安全对齐的新颖方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →