Temporal Logit Observability

新的TLO方法揭示了LLM安全故障路径，超越了成功率

研究人员推出了一种新的评估大型语言模型（LLM）安全故障的方法——时间对数可观测性（TLO）。与仅指示是否发生故障的传统攻击成功率（ASR）不同，TLO分析模型在生成过程中的内部对数边际，以揭示故障是如何发生的。该技术可以区分具有相似ASR但根本原因不同的攻击，从而更细致地理解LLM的漏洞。TLO已在多种LLM和攻击类型中证明了其有效性，并且从中衍生出的简单早期停止规则可以在不影响良性查询的情况下显著减少成功的越狱攻击。