研究人员推出 InfMasking,一个旨在增强协同多模态学习的新框架。该方法采用一种称为无限掩码的技术,在融合之前随机掩盖来自不同模态的特征。通过强制这些部分掩盖的表示之间的一致性,InfMasking 鼓励模型学习真正的跨模态交互,而不是依赖于主导模态或共享信息。该框架在评估基准上的预测性能和协同作用估计方面均有所提高。 AI
影响 该框架通过改进多模态 AI 系统利用协同信息的方式,可能带来更强大的多模态 AI 系统。
排序理由 该集群包含一篇详细介绍多模态学习新框架的学术论文。
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Infinite Masking
- InfMasking
- Liangjian Wen
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →