MultiMAE

研究发现：深度数据可提升手术视觉基础模型性能

一项新研究探讨了在手术视觉基础模型中融入深度信息的影响。研究发现，使用RGB-D数据（如MultiMAE）进行预训练的模型，在各种手术任务上的表现显著优于仅使用RGB数据训练的模型。这种几何感知预训练还展现了卓越的数据效率，经过少量数据微调的模型超越了在完整数据集上训练的纯RGB模型。研究表明，多模态预训练是开发更强大的手术视觉系统的一条有前景的途径，且无需改变推理架构。