Christopher Banerji

新研究详细介绍了AI概念干预如何造成危害

研究人员在基于概念的AI模型中发现了一个问题，即干预中间概念会适得其反地恶化预测，这种现象被称为“干预危害”。即使模型表现出“良性泄露”，即在不负面影响干预的情况下将任务相关信息编码到概念中，也可能发生这种危害。该研究提出了一种新的“单调干预目标”，该目标会惩罚部分干预期间任务损失的增加，当与现有训练方法结合使用时，可以显著减少干预危害，同时保持模型性能。