ModelAudit

AI安全扫描器覆盖率和故障恢复能力评估

一项新的研究论文评估了AI模型安全扫描器的有效性，重点关注它们提供确定性安全判断和从分析故障中恢复的能力。该研究使用170个工件的基准来评估ModelScan、ModelAudit和Fickling，区分了非N/A覆盖率、分析完成和确定性安全决策等各种结果。ModelAudit在确定性安全决策方面表现出最高比率，而ModelScan在提供判断时实现了完美的精确率、召回率和F1分数。