研究人员开发了TraceICL,一个旨在增强大型视觉语言模型(LVLM)多模态上下文学习鲁棒性的新框架。该框架包含三个阶段:线程解析分解器(Thread-Resolved Decomposer)用于正确绑定图像及其对应的文本;影响评分演示选择器(Influence-scored Demonstration Selector)用于移除冗余示例并排序信息性示例;以及弱到强一致性校准模块(Weak-to-Strong Consistency Calibration)根据重建置信度重新加权演示。该方法在各种视觉语言基准测试上显著提高了性能,在VizWiz上提升高达2.4个点,即使在有噪声的演示下也能保持性能,同时保持LVLM冻结。 AI
影响 增强LVLM在多模态任务中的能力,可能提高在VizWiz和ScienceQA-IMG等基准测试上的性能。
排序理由 该集群描述了一篇关于改进多模态上下文学习新框架的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Ava
- Influence-scored Demonstration Selector
- large vision-language models
- ScienceQA-IMG
- Thread-Resolved Decomposer
- TraceICL
- VizWiz
- Weak-to-Strong Consistency Calibration
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →