ET-Prune 框架通过动态剪枝视觉令牌优化多模态大语言模型推理

研究人员开发了 ET-Prune，一个新颖的框架，旨在通过动态剪枝视觉令牌来优化多模态大语言模型（MLLMs）的推理成本。与固定的剪枝比例不同，ET-Prune 通过将剪枝视为证据分配来适应富文本输入，识别并保护查询指定的数字或标签等关键信息。该方法将证据不确定性和密度转化为特定于样本的令牌预算，从而在质量-成本权衡方面取得显著改进。在 OCRBench-v2 和 MMBench v1.1 上的评估中，ET-Prune 在剪枝方法中取得了具有竞争力或领先的结果，同时保留了大约一半的视觉令牌。 AI

影响 该方法可以显著降低运行多模态人工智能模型的计算成本，使其在各种应用中更易于访问和更高效。

排序理由 该集群包含一篇详细介绍多模态大语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• arXiv
• ET-Prune
• InternVL3.5-8B
• MLLMs
• MMBench v1.1
• OCRBench-v2
• Qwen3 VL 8B
• Vanilla

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →