SurgReasonSeg

新AI方法利用数字孪生增强手术视频分割

研究人员开发了SurgReasonSeg，一种利用数字孪生表示和上下文记忆的手术视频推理分割新方法。该方法采用了一个通过强化学习训练的、增强了两个专用低秩适配器（LoRA）的大型语言模型，以处理不同的查询复杂度，并通过一个轻量级路由器来平衡实时性能。SurgReasonSeg还包含一个自适应滑动窗口和一个手术上下文记忆，用于检索相关的历史病例，与现有方法相比，显著提高了语义、空间和时间查询的分割准确性。