Frustum Attention

TOLiD 方法弥合视觉和 LiDAR 模型以进行预训练

研究人员推出了一种新颖的自监督预训练方法 TOLiD，旨在弥合视觉基础模型 (VFMs) 和 LiDAR 主干之间的架构差距。该方法通过使用 Frustum Pooling 和 Frustum Attention 将点特征转换为 token，从而促进跨模态蒸馏，并在兼容的 patch-token 表示上进行监督。TOLiD 已证明在各种 LiDAR 数据集和跨传感器适应任务上具有改进的迁移学习能力，即使在使用冻结的主干和轻量级头的情况下也是如此。