Mayank Nautiyal

新的PROVE适配器为视觉语言模型增加了概率视觉定位功能

研究人员推出了一种新颖的视觉语言模型适配器PROVE，该适配器通过提供概率输出来增强视觉定位。与确定性方法不同，PROVE将冻结的CLIP斑块特征映射到Beta分布，使其能够指示定位的可靠性并检测参照物的缺失。这种方法将定位视为斑块级别的成员资格，累积支持或反对某个斑块属于参照物的证据。PROVE在定位准确性方面具有竞争力，并提供用于选择性预测的不确定性跟踪，使其成为更强大的视觉语言系统的宝贵工具。