新系统检测手术AR中的视觉遮挡

研究人员开发了一种新的系统，用于检测手术增强现实（AR）应用中的视觉遮挡。该系统采用级联视觉语言模型（VLM）架构，结合了对象识别和基于分割的推理，以识别虚拟内容何时遮挡了重要的手术器械。这种方法旨在通过使用较小的VLM处理简单情况，并使用带有修剪过的视觉标记的较大VLM处理更复杂的情况来减少推理延迟。一个新构建的基准测试，基于叠加了虚拟内容的手术工具图像，证明了该系统的有效性，准确率达到87.43%，平均延迟为479毫秒，与基于云的基线相比有了显著降低。 AI

影响 提高了增强现实系统在手术等关键环境中的安全性和可用性。

排序理由 学术论文，详细介绍了特定应用的新颖系统和基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• cloud large-model baseline
• Hugging Face
• Instruments
• pseudo-AR surgical obstruction detection benchmark
• Real-Time Visual Obstruction Detection in Surgical Augmented Reality
• Surgical augmented reality
• surgical-tool images
• vision-language model

• 论文
• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →