Shravan Doda

新研究强调了大型语言模型中安全探测的失败

研究人员发现了一种用于监控大型语言模型的最终标记安全探测的故障模式。这些探测在提示预填充后检查单个隐藏状态，可能会错过越狱尝试，因为不安全证据分布在较早的标记表示中。分析表明，漏掉的越狱与良性提示在探测子空间未能很好捕捉到的方面有所不同，而简单地汇总标记级信息会导致对安全提示产生误报。然而，轨迹模型通过分析预填充期间的隐藏状态演变，在恢复漏掉的越狱方面显示出希望。