SurgMetrics

新的FLAIR框架使用文本提示和光流生成手术视频

研究人员开发了FLAIR，一个新颖的框架，用于生成手术视频，而不依赖于掩码或轨迹等辅助视觉条件。FLAIR将从光流中学到的动作先验注入到基础模型中，从而实现仅文本推理以获得更一致的手术运动。为了支持这项工作，该团队还创建了SurgActionClip-30K，一个大规模的以动作为中心的手术剪辑数据集，以及SurgMetrics，一组新的特定领域评估指标，用于评估生成的手术视频的质量。