TLP

新的 TLP 框架在无源数据的情况下适应视觉语言模型

研究人员推出了一种名为测试时 Logit Prompting (TLP) 的新颖框架，旨在提高视觉语言模型 (VLM) 在部署期间面对缺失模态时的性能。与需要访问原始训练数据的先前方法不同，TLP 以无源方式运行，在测试时适应 VLM。该框架使用不确定性感知调整和模态完整性一致性正则化来优化 logit prompt，以维持预测置信度和语义一致性。实验表明，TLP 可以在最少的调优参数和几次优化步骤的情况下，将识别性能提高高达 8%。