GeoSemZip

GeoGR框架通过令牌压缩和路由提升3D VLM效率

研究人员开发了GeoGR，一个旨在提高3D视觉语言模型（VLMs）效率的新型框架。GeoGR采用两阶段方法：GeoSemZip通过整合冗余观测和优先考虑语义显著性来压缩多视图3D场景表示，而GroupRoute通过允许低相关性令牌跳过层并稍后重新加入来优化LLM计算。该方法显著加速了LLM预填充速度，在LLaVA-OneVision-7B和Video-3D LLM-7B等基准测试中，性能保持了原始模型的95%以上，速度提升高达6.8倍。