研究人员开发了 MTAG-Bench,这是一个旨在评估大型语言模型 (LLM) 多轮安全故障的新数据集。该数据集包含 4,167 个对话,具有行为验证和逆事实监督,以查明导致不安全结果的证据。他们还推出了 MTAG-Probe,一个在回合级证据定位方面取得显著改进的模型,并且可以通过移除关键对话证据来改变不安全的 LLM 决策。 AI
影响 这项研究可能通过实现对多轮对话中故障的更好归因,从而带来更强大的 LLM 安全机制。
排序理由 该集群包含一篇详细介绍用于 LLM 安全评估的新数据集和模型的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →