浙江大学和斯旺西大学的研究人员开发了一种自适应不对称适配器(A3B2),以改进视觉语言模型(VLM)的微调。他们的研究表明,图像编码器的激进微调会损害泛化能力,尤其是在分布外数据上。A3B2系统引入了一种机制,在模型置信度低时自动“刹车”图像编码器的更新,从而在允许高效适应的同时保持预训练模型的鲁棒性。 AI
影响 这项研究为VLM微调提供了一种新颖的方法,通过防止过度适应,有可能提高在真实世界、分布外数据上的性能。
排序理由 关于微调VLM新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →