PINK ELEPHANT

Transformer 注意力物理机制导致 LLM 负面约束适得其反

开发者发现，直接用负面约束（例如“不要创建新文件”）指示大型语言模型通常会适得其反。这是因为 Transformer 中的自注意力机制，特别是带有 Softmax 的机制，难以有效解释否定，反而会无意中关注被禁止的操作。为了解决这个问题，开发了一种“成对不变标准”，将负面规则与明确的肯定性指令相结合，以更可靠地指导模型的行为。