Forward World Model

新的LAVIFT框架增强了VLM中的手术交互识别能力

研究人员开发了LAVIFT，一种用于微调视觉语言模型（VLM）以更好地识别手术交互的新型框架。该方法通过使用逆动力学模型来捕捉由动作引起的可视变化，以及使用前向世界模型将编码器聚焦于相关的动作区域，来解决将VLM应用于细粒度手术任务的挑战。LAVIFT包含一个补丁级别的SIG正则化器，无需额外监督即可防止特征坍塌，从而在实验中提高了识别和图像-文本对齐能力。