Decoding-Level Taboo

新的“解码级禁忌”压力测试 LLM鲁棒性超越名义条件

研究人员引入了“解码级禁忌”（Decoding-Level Taboo），一种新的诊断压力测试，旨在评估大型语言模型（LLM）在非名义条件下的鲁棒性。该方法在运行时直接干预模型的logit空间，迫使其生成偏离其典型、优化路径的文本。对各种开源模型的评估表明，偏离路径的鲁棒性显著受到模型规模和指令对齐的影响，通常规模更大、对齐性更好的模型表现更佳。“解码级禁忌”为创建合成数据集、测试安全护栏以及在部署前审计LLM的可靠性提供了一种新颖的方法。