Harmfulness Propagation Dynamics

新研究揭示LLM如何产生有害意图，并引入“Herald”审核器

研究人员发现了一种“有害性传播动力学”（HPD）现象，即有害意图在大型语言模型中的表示随着模型深度的增加而增加。这表明有害性是一种逐步解决的语义属性，其完整意图在模型的后期层中得到巩固。为了解决这个问题，开发了一种名为“Herald”的轻量级输入审核器。Herald从跨层投影序列中提取特征来对有害提示进行分类，实现了高准确率，并提供了模型内部有害性如何产生的可解释审计跟踪。