Verifier 141,169

分析发现，LLM logit 偏见禁令 81% 的时间都失败了

一项技术分析显示，通过调整 logit 偏见来禁止 LLM 输出中特定单词的常用方法基本上是无效的。这种方法通过为与单词对应的 token 设置负对数概率，但 81.25% 的情况下会失败。无效的原因在于，分词器通常会将单词分解成更小的子词单元，从而允许从允许的 token 中构建出被禁止的单词。此外，这种方法会造成重大的附带损害，对许多其他有效单词的生成产生负面影响。