Dynamic Dual-Attention Extractor

PACE框架通过优化视觉编码器和LLM来加速VLM推理

研究人员推出了一种新颖的免训练框架PACE，旨在加速视觉语言模型（VLM）的推理速度。PACE通过统一的压缩和提取范式优化视觉编码器和LLM，解决了现有方法的局限性。该框架包含一个自适应像素压缩器，用于在编码前对冗余视觉输入进行下采样，以及一个动态双注意力提取器，用于选择性地保留任务关键的视觉标记。与Qwen2.5-VL-7B集成后，PACE在仅使用10%视觉标记的情况下，实现了3.1倍的首个标记生成时间加速，同时保持了原始性能的93.8%。