Mechanistic Anomaly Detection

新方法利用功能归因检测异常AI行为

研究人员开发了一种名为机制性异常检测（MAD）的新方法，将异常检测重新构建为功能归因问题。该方法使用影响函数来衡量测试样本与参考集之间的耦合，并在归因失败时标记异常行为。该方法在检测视觉模型中的后门方面表现出最先进的性能，并且在大型语言模型（LLM）方面显示出显著的改进，即使是针对混淆模型。除了后门，MAD还可以识别对抗性样本和分布外样本，为识别已部署AI系统中的异常行为提供了一种模型无关的工具。