VanillaBench

新基准揭示AI模型对抗性鲁棒性的显著准确性成本

引入了一个名为VanillaBench的新基准，用于量化AI模型中与对抗性鲁棒性相关的准确性成本。研究发现，与标准模型相比，即使是最鲁棒的模型，其在干净数据上的准确性也常常显著下降，差距在4.0到21.0个百分点之间。这凸显了鲁棒性与准确性之间比通常报告的更大的权衡，这对于实际部署决策至关重要。该研究主张在未来的鲁棒性评估中，将这些参考标准模型的准确性差距作为一项标准实践来报告。