ActDTs

新的AI系统OR3通过基于动作的数字孪生改进手术室视频检索

研究人员开发了OR3，一个新颖的文本到视频检索系统，旨在通过准确识别特定手术事件来提高手术室安全性。与依赖全局嵌入的先前方法不同，OR3将视频片段转换为基于动作的数字孪生（ActDTs），该孪生在时间间隔内对主语-动作-宾语三元组进行分组。这种方法允许基于想象的检索，其中大型语言模型从查询中生成假设的ActDTs，从而实现更精确的模态内匹配。该系统在机器人膝关节手术的基准测试中进行了测试，在区分视觉上相似的片段的细粒度判别方面表现出优越的性能。