研究人员开发了一种名为 Foveated Compression 的新方法,以提高视觉语言模型 (VLM) 的效率。该技术在固定预算内选择性地保留高分辨率视觉标记,而不是对图像进行统一降采样。Foveated Merger 组件在保持与原生对应物兼容性的同时压缩局部标记,而 Foveated Selector 则识别特定区域以进行高保真表示。虽然 Foveated Compression 在较低的标记数量下表现出与标准降采样相当的结果,但在较高的预算下,其性能不如强大的全图像重缩放,这表明在局部保真度和区域选择方面存在局限性。 AI
影响 这项研究通过降低与视觉标记相关的计算成本,有望提高视觉语言模型的效率。
排序理由 研究论文,详细介绍了一种提高 VLM 效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Foveated Compression
- Foveated Merger
- Foveated Selector
- Gotit.pub
- Hugging Face
- Influence Flower
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →