Dipesh Tharu Mahato

AI模型激活信号预示视觉变化下的近期故障

研究人员开发了一种方法，通过分析视觉语言动作（VLA）模型（如OpenVLA）的内部激活来检测其潜在故障。在涉及视觉分布变化（特别是遮挡）的受控实验中，一个基于执行后激活训练的轻量级监控器在预测15步范围内的任务失败方面取得了高精度（AUROC 0.972）。这种方法比基线方法更有效，并且即使在测试于不同类型的视觉变化（如相机抖动）时也保持了一定的预测能力，尽管它并未建立因果关系或提供恢复解决方案。