研究人员开发了Mage-VL,这是一种新颖的多模态基础模型,旨在实现高效的实时视频理解。与均匀处理每一帧的传统模型不同,Mage-VL采用自定义分词器Mage-ViT,通过运动矢量和稀疏锚定帧及预测帧的残差能量选择性地编码动态区域。这种方法将视觉标记消耗量减少了75%以上,同时保留了时空上下文。Mage-VL在大量图像和视频帧数据集上进行了训练,在静态任务上表现出与Qwen3-VL-4B等更大模型相当的性能,在视频理解和空间推理方面超越了Phi-4-reasoning-vision,推理速度最高可提升3.5倍。 AI
影响 该模型高效的编解码器原生方法可以显著加速实时多模态AI应用并降低计算成本。
排序理由 发布了一篇详细介绍新型多模态基础模型的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →