PulseAugur
实时 10:57:35
English(EN) Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

通过标记角色分析视觉语言模型中的视觉标记剪枝

研究人员通过检查这些标记的功能角色,分析了视觉语言模型(VLMs)中的视觉标记剪枝。他们发现现有的剪枝方法对标记角色表现出不同的偏见,但这些偏见与下游性能的提高并不总是一致。研究表明,语义对齐较弱的标记在剪枝时仍可能影响模型行为,而保留某些非语义标记有时可以维持甚至提高性能。 AI

影响 这项研究可能导致更有效的VLMs视觉标记剪枝方法,在不牺牲性能的情况下提高推理速度。

排序理由 学术论文,分析计算机视觉模型中的特定技术。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

通过标记角色分析视觉语言模型中的视觉标记剪枝

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Hyeonyu Kim, Sehwan Lim, Youngwon Choi, Taeyoun Kwon, Jaejin Kim ·

    Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

    arXiv:2608.04483v1 Announce Type: new Abstract: Vision-language models (VLMs) process an image as a sequence of visual tokens, which creates a substantial computational bottleneck during inference. Recent visual token pruning methods address this issue by removing seemingly redun…