Test-Time Logit Prompting

新的TLP框架在无源数据的情况下使视觉语言模型适应缺失的模态

研究人员开发了测试时logit提示（TLP），一个新颖的框架，旨在提高视觉语言模型（VLMs）在测试期间缺失一种模态时的性能。与需要访问原始训练数据的先前方法不同，TLP以无源方式运行，使其适用于具有隐私或可访问性限制的应用。该框架使用不确定性感知调整和一致性正则化来优化logit提示，以保持语义完整性并适应预测置信度。实验表明，TLP只需很少的可调参数和几次优化步骤即可将识别性能提高多达8%。