VET-Bench

新的“跟踪后绑定”方法提升视频语言模型对象推理能力

研究人员开发了一种名为“跟踪后绑定”（Track, Then Bind）的新颖方法，以提高视频语言模型中的对象身份推理能力。这种无需训练的方法将固定特定时刻对象身份的任务与随时间保持该身份的任务分离开来。通过使用可提示的视频跟踪器来跟踪对象，并使用冻结的视觉语言模型来绑定身份证据，该系统在 VET-Bench 和手术病理学感知测试等基准测试中取得了显著的性能提升。