研究人员推出了一种新颖的GUIDE框架,旨在控制大型多模态模型在遵循语言指令时如何利用内部证据。与可能依赖表面线索的先前模型不同,GUIDE在推理和生成过程中采用指令条件门控来调节证据通路。该框架已证明其能够在推理、分类和生成等各种多模态任务中诱导证据依赖性的结构化重新分配,同时保持任务性能。在GQA和TextVQA等数据集上的实验表明,GUIDE增强了对目标证据扰动的鲁棒性,并实现了证据来源的可控调制。 AI
影响 该框架通过确保多模态AI系统使用相关证据,有望带来更可靠和可控的多模态AI系统。
排序理由 该条目是一篇研究论文,详细介绍了一种用于多模态模型的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →