Active Test-Time Adaptation for VLMs

新方法以有限监督增强视觉语言模型的自适应能力 · 跟踪3个来源

研究人员正在开发新的方法，以有限的监督来将视觉语言模型（VLM）适应到新领域。一种名为ACTOR的方法使用一种无需训练的即插即用模块，该模块利用未来样本的查询标签来改进当前预测。另一种名为SignSparseSGD的方法侧重于使用梯度更新的符号而非其幅度来进行高效的少样本自适应。第三种技术DIFO++利用CLIP等模型的预训练视觉语言先验，通过定制和提炼这些通用模型的知识来增强无源域自适应。