Faros

新的FAROS框架通过标签插值改进手术场景理解 · 已追踪3个来源

研究人员开发了FAROS，一个旨在改进手术场景理解多任务学习的新框架。该方法解决了密集帧级监督（用于时间任务）和稀疏关键帧注释（用于空间任务）之间不匹配的注释粒度问题。FAROS利用流引导标签插值，结合掩码传播和光流估计，生成时间一致的伪标签，即使在遮挡和运动模糊等困难条件下也能实现。该框架将这些密集化标签集成到一个基于Transformer的模型中，以实现跨各种手术识别和分割任务的平衡优化。