generation boundary

新研究揭示语言模型拥有词语的“恐惧词典”

研究人员在语言模型中识别出一种特定的“拒绝方向”，该方向决定了模型是否会拒绝某个提示，而与提示的实际含义无关。这个方向可用于创建词汇量的“恐惧词典”，将词语从“害怕”到“勇敢”进行排序。通过分析八种不同模型中的这个方向，研究发现将一个“害怕”的词附加到一个良性提示上会导致模型拒绝它。用保留含义的同义词替换一个害怕的词可以显著提高模型对良性提示和有害提示的响应率。