研究人员在语言模型中识别出一种特定的“拒绝方向”，该方向决定了模型是否会拒绝某个提示，而与提示的实际含义无关。这个方向可用于创建词汇量的“恐惧词典”，将词语从“害怕”到“勇敢”进行排序。通过分析八种不同模型中的这个方向，研究发现将一个“害怕”的词附加到一个良性提示上会导致模型拒绝它。用保留含义的同义词替换一个害怕的词可以显著提高模型对良性提示和有害提示的响应率。 AI
影响 揭示了一种理解和潜在控制语言模型拒绝行为的新方法，影响了AI安全和对齐研究。
排序理由 该集群包含一篇详细介绍语言模型行为新研究发现的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2611.02348v1 Announce Type: new Abstract: Whether an aligned language model refuses depends in part on which words a prompt contains, regardless of whether those words carry the request's meaning. Harm words shift the hidden state at the generation boundary along a componen…
Whether an aligned language model refuses depends in part on which words a prompt contains, regardless of whether those words carry the request's meaning. Harm words shift the hidden state at the generation boundary along a component shared across prompts and words, which crossed…