研究人员开发了SmartRes,一个旨在通过动态路由高分辨率图像块来提高自我中心视觉基础效率的新颖框架。该方法解决了多模态大型语言模型处理高分辨率输入带来的高计算成本问题。SmartRes编码低分辨率全局上下文,并使用轻量级路由器激活特定的以对象为中心的区域,在保持性能的同时显著减少视觉令牌。该框架还包含一个边距正则化路由目标,以提高前景召回率,特别是在前景-背景元素不平衡的情况下。 AI
影响 该框架可以显著降低处理自我中心视频的AI系统的计算成本,从而实现更高效的实时应用。
排序理由 这是一篇详细介绍计算机视觉新技术的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →