Ahmed Oumar El-Shangiti

新研究揭示视觉语言模型计数失败源于输出错位

研究人员发现，视觉语言模型（VLMs）在物体计数方面存在困难的一个关键原因是：其内部表征与其语言化输出之间存在错位。通过对VLM激活进行探测的研究表明，模型内部通常拥有正确的计数，但未能准确地表达出来。通过因果干预进一步证实了这种错位，干预显示增强正确的计数方向可以提高性能。为了解决这个问题，提出了一种检测器引导的自我纠正方法，该方法仅在内部错误检测器预测到失败时才重新提示模型，从而在无需重新训练的情况下显著提高了准确性。