一篇新发表在arXiv上的研究调查了大型语言模型（LLMs）安全基准中的多选题（MCQ）格式为何会导致较低的拒绝率。研究人员Stepan Epifantsev及其同事使用武器级大规模杀伤性武器代理（WMDP）数据集，在Llama-3.1-8B和Qwen3-8B模型上提供了机制证据。他们的发现表明，与开放式格式中逐渐建立的拒绝过程不同，多选题会促使模型快速确定一个答案字母标记。这种多选题格式似乎与拒绝机制竞争，表明多选题安全分数可能主要反映知识而非真实的拒绝行为。 AI
影响 表明当前的大型语言模型安全基准可能无法准确评估拒绝能力，可能高估了模型安全性。
排序理由 学术论文，详细阐述了大型语言模型安全基准行为的机制证据。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
