EgoIntention

新的SmartRes框架提高了自我中心视觉基础的效率

研究人员开发了SmartRes，一个旨在通过动态路由高分辨率图像块来提高自我中心视觉基础效率的新颖框架。该方法解决了多模态大型语言模型处理高分辨率输入带来的高计算成本问题。SmartRes编码低分辨率全局上下文，并使用轻量级路由器激活特定的以对象为中心的区域，在保持性能的同时显著减少视觉令牌。该框架还包含一个边距正则化路由目标，以提高前景召回率，特别是在前景-背景元素不平衡的情况下。