YoLLaVA

新框架在无需训练的情况下增强视觉语言模型个性化

研究人员开发了一种名为校准残差解码的新框架，可以在无需任何训练的情况下提高视觉语言模型（VLM）的个性化。该方法解决了 VLM 可能依赖通用先验而非特定用户配置文件的问​​题。通过比较使用正面配置文件、反事实配置文件和空配置文件进行的预测，该框架分离了个性化的真正贡献。它还结合了不确定性校准，根据残差信号的可靠性来调整个性化强度，在对身份敏感的视觉个性化任务上显示出持续的改进。