新研究强调了大型语言模型中安全探测的失败

研究人员发现了一种用于监控大型语言模型的最终标记安全探测的故障模式。这些探测在提示预填充后检查单个隐藏状态，可能会错过越狱尝试，因为不安全证据分布在较早的标记表示中。分析表明，漏掉的越狱与良性提示在探测子空间未能很好捕捉到的方面有所不同，而简单地汇总标记级信息会导致对安全提示产生误报。然而，轨迹模型通过分析预填充期间的隐藏状态演变，在恢复漏掉的越狱方面显示出希望。 AI

影响 这项研究突显了当前大型语言模型安全机制中的一个关键漏洞，可能需要新的方法来可靠地检测有害内容。

排序理由 该集群包含一篇发表在 arXiv 上的研究论文，详细介绍了关于大型语言模型安全探测的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• DagsHub
• Hugging Face
• IArxiv
• PCA-HMM
• SafeSwitch
• Shravan Doda

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →