研究人员推出 Xray-Visual,这是一种新颖的视觉模型架构,专为大规模图像和视频理解而设计。该模型在超过 150 亿个图像-文本对和 100 亿个视频-标签对(来自 Facebook 和 Instagram)的海量数据集上进行训练,并采用先进的数据策展技术,以确保语义多样性并最大限度地减少噪声。Xray-Visual 利用结合了自监督、半监督和对比学习方法的三阶段训练流程,并基于高效的 Vision Transformer 主干构建。该模型在图像分类、视频理解和跨模态检索的各种基准测试中均表现出最先进的性能,并且在与大型语言模型集成时也显示出强大的鲁棒性和增强的泛化能力。 AI
影响 为可扩展的多模态视觉模型树立了新基准,可能影响未来大规模图像和视频理解领域的研究。
排序理由 该集群包含一篇详细介绍新模型架构及其在基准测试中性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →