SPA-VL

新的TAME框架解决了VLM推理混淆问题

研究人员开发了一个名为TAME的新框架，以解决视觉语言模型（VLM）中的思维链（CoT）混淆问题。这种混淆发生在模型达到高准确率，但产生的推理过程不够透明且难以监控时。TAME在强化学习训练过程中利用稀疏自动编码器（SAE）来规范VLM的内部特征，具体方法是惩罚模板激活同时保留视觉证据。在VIRL-39k和SPA-VL基准上的实验表明，TAME在不显著影响任务准确性的情况下，提高了CoT推理的可监控性。