2D visual features

新的3DZip框架大幅削减3D视觉模型的令牌数量

研究人员开发了3DZip，一个新颖的令牌压缩框架，旨在降低3D视觉语言模型（3D VLMs）的计算和内存开销。与以往关注语义相关性或2D视觉特征的方法不同，3DZip专门解决了3D数据的空间特性。该框架采用三阶段过程：粗粒度体素化、使用行列式点过程（Determinantal Point Process）进行特征空间多样性选择，以及基于空间约束的合并。这种方法使3DZip能够以显著更少的令牌保持高性能，从而在3D问答基准测试中实现更快的推理速度。