UTok3D

新的UTok3D分词器将CLIP适配于3D理解任务

研究人员开发了UTok3D，一个新颖的参数高效框架，旨在将CLIP（一种视觉-语言模型）适配于3D理解任务。该分词器解决了将CLIP（在2D图像块上训练）应用于不规则和稀疏的3D点云的挑战。UTok3D学习了一个尺度归一化的3D分词器，使冻结的CLIP视觉编码器能够解释3D数据，从而在ShapeNetPart、ScanNetV2、S3DIS、SemanticKITTI和nuScenes等多样化数据集上实现无标注3D分割。