Calibration-Family Overfit

研究发现AI安全监控器无法跨模型谱系转移

一篇题为“校准家族过拟合”的新研究论文探讨了AI安全监控器的局限性，发现当将其应用于与训练模型不同谱系的模型时，其有效性会显著下降。研究表明，在一种AI模型家族上校准的监控器在检测其他模型家族的破坏方面能力较弱，在基于代码的基准测试中观察到了明显的性能差距。这表明当前的评估方法可能夸大了这些监控器提供的通用安全性，需要一种涉及跨家族转移矩阵的更全面的方法来准确评估其可靠性。