VQA v2
PulseAugur coverage of VQA v2 — every cluster mentioning VQA v2 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的ASR方法可防止多模态大语言模型遗忘技能
研究人员推出了一种名为注意力谱正则化（ASR）的新框架，旨在防止多模态大语言模型（MLLMs）在适应新数据时遗忘先前学到的技能。ASR通过总结跨模态注意力图的光谱统计信息来实现这一点，将其存储为原型分布，而不是重放旧数据。该方法约束了适应过程中注意力模式的有害漂移，理论上在特定假设下确保技能保留。在VQA v2和CoIN等基准测试上的实验表明，与现有的持续学习方法相比，ASR显著减少了遗忘并提高了性能。
-
ITNet架构统一了卷积、注意力和循环
研究人员推出了一种新颖的神经网络架构ITNet，它将卷积、注意力和循环统一为一种可学习的积分变换。该架构使用一个可学习的核（实现为MLP）来模拟成对交互，使其能够根据数据调整其行为。通过调整参数，ITNet可以恢复各种现有架构的功能，包括LSTM、GRU、S4、Mamba和自注意力。该模型在ImageNet-1K、GLUE、ModelNet40、VQA v2和NLVR2等多个基准测试中都表现出具有竞争力或更优的性能。
-
新研究利用新颖的专家混合方法解决大型语言模型的持续学习问题
两篇新研究论文提出了在大型语言模型和视觉-语言模型中进行持续学习的新颖方法，旨在减轻灾难性遗忘。CP-MoE引入了一个瞬时专家来指导更新和保留知识，而MoRAM则利用细粒度的秩-1适配器作为记忆单元来实现内容可寻址检索。与现有的专家混合技术相比，这两种方法在基准测试中都展示了改进的性能，提供了更好的可塑性和稳定性之间的权衡。
-
研究人员揭示利用扩散模型和风格特征对AI模型进行新的隐蔽后门攻击
研究人员开发了针对先进AI模型的新型后门攻击方法，特别针对视觉语言模型（VLMs）和扩散模型（DMs）。一种方法CBV利用扩散模型通过微妙地改变图像生成过程并在语义重要区域集中修改，为VLMs创建外观自然的受污染样本。另一种方法Gungnir利用图像内的风格特征作为扩散模型的隐蔽触发器，使攻击更难被检测和绕过现有防御。