HeiChole

新方法使用SAM 3进行手术地标定位

研究人员开发了一种新的方法，通过利用Segment Anything Model 3 (SAM 3) 来定位手术视频中的功能性地标。该方法利用SAM 3的结构先验，在无需手动像素级标注的情况下提供密集的器械级上下文。一个粗略的多帧网络生成提示，以优化SAM 3的输出，从而提高尖端和锚点定位的预测精度。在包含60个手术视频的7,867个剪辑的数据集上进行的实验表明，尖端定位的F1得分为72.4%，锚点定位的F1得分为58.0%。