Dual Guidance Robust Training

新框架通过LLM引导的对齐增强三维物体检测

研究人员开发了一个新的开放词汇三维物体检测框架，旨在提高识别三维场景中未见物体准确性。所提出的方法通过一种利用几何一致性、物体性和语义确定性的共蒸馏策略来增强新物体发现。此外，它通过一种双重指导学习方案来加强模型训练，该方案结合了用于回归的场景感知和用于分类的LLM引导的对齐，从而减少了不精确边界框和语义模糊的影响。在SUN RGB-D和ScanNetV2数据集上的实验表明，与现有最先进方法相比，性能有了显著提高。