Zhenhao Zhang

OR-Expert 框架使用 RGB 图像进行手术室中的 3D 空间推理

研究人员开发了 OR-Expert，这是一个大型视觉语言框架，专门用于仅使用 RGB 图像在手术室中进行 3D 空间推理。该模型可以从标准的 RGB 输入中提取深度、全景分割和点云信息，并将其与视觉和文本特征相结合以实现全面理解。OR-Expert 旨在通过在推理过程中无需专用传感器或额外注释即可提供详细的空间洞察，从而提高术中意识和决策能力，并在手术室基准测试中展示了最先进的性能和泛化能力。