VQA v2
PulseAugur coverage of VQA v2 — every cluster mentioning VQA v2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的VQA研究探索答案可预测性、反事实学习、视觉基准和隐私
研究人员正通过几种新方法推进视觉问答（VQA）。一篇论文介绍了VT-Transformer，它使用Transformer架构通过分析视觉和文本特征来预测答案的可预测性，在VizWiz 2020数据集上显示出有效性。另一项研究提出了一个框架，增强反事实对比学习以提高VQA模型对语言偏差的鲁棒性，在VQA-CP v2和VQA v2数据集上取得了强劲的性能。第三篇论文通过引入面向视觉的大型视频模型的基准来挑战当前的评估方法，突出了它们在视觉…
-
新框架增强知识型视觉问答系统 · 跟踪 5 个来源
研究人员正在开发先进的框架来改进知识型视觉问答 (KB-VQA) 系统。这些新方法侧重于增强相关外部知识的检索，并确保模型的推理过程严格忠实于证据。技术包括结构感知图检索、问导式证据获取和实体对齐检索，以更好地处理复杂上下文和长尾实体。一些方法还纳入了偏见缓解策略，以提高在 Encyclopedic-VQA、InfoSeek 和 DocVQA2026 等基准测试上的鲁棒性和准确性。
-
新的ASR方法可防止多模态大语言模型遗忘技能
研究人员推出了一种名为注意力谱正则化（ASR）的新框架，旨在防止多模态大语言模型（MLLMs）在适应新数据时遗忘先前学到的技能。ASR通过总结跨模态注意力图的光谱统计信息来实现这一点，将其存储为原型分布，而不是重放旧数据。该方法约束了适应过程中注意力模式的有害漂移，理论上在特定假设下确保技能保留。在VQA v2和CoIN等基准测试上的实验表明，与现有的持续学习方法相比，ASR显著减少了遗忘并提高了性能。
-
ITNet架构统一了卷积、注意力和循环
研究人员推出了一种新颖的神经网络架构ITNet，它将卷积、注意力和循环统一为一种可学习的积分变换。该架构使用一个可学习的核（实现为MLP）来模拟成对交互，使其能够根据数据调整其行为。通过调整参数，ITNet可以恢复各种现有架构的功能，包括LSTM、GRU、S4、Mamba和自注意力。该模型在ImageNet-1K、GLUE、ModelNet40、VQA v2和NLVR2等多个基准测试中都表现出具有竞争力或更优的性能。
-
新研究利用新颖的专家混合方法解决大型语言模型的持续学习问题
两篇新研究论文提出了在大型语言模型和视觉-语言模型中进行持续学习的新颖方法，旨在减轻灾难性遗忘。CP-MoE引入了一个瞬时专家来指导更新和保留知识，而MoRAM则利用细粒度的秩-1适配器作为记忆单元来实现内容可寻址检索。与现有的专家混合技术相比，这两种方法在基准测试中都展示了改进的性能，提供了更好的可塑性和稳定性之间的权衡。
-
研究人员揭示利用扩散模型和风格特征对AI模型进行新的隐蔽后门攻击
研究人员开发了针对先进AI模型的新型后门攻击方法，特别针对视觉语言模型（VLMs）和扩散模型（DMs）。一种方法CBV利用扩散模型通过微妙地改变图像生成过程并在语义重要区域集中修改，为VLMs创建外观自然的受污染样本。另一种方法Gungnir利用图像内的风格特征作为扩散模型的隐蔽触发器，使攻击更难被检测和绕过现有防御。