PhysMRV

PhysMRV框架在无需训练的情况下增强了VLM的物理推理能力

研究人员开发了PhysMRV，一个旨在增强视频-语言模型（VLM）物理合理性推理能力的新型框架。这种无需训练的方法将视频转换为一个结构化的内存库，包含场景描述、物理事件图和物理规则摘要。在推理过程中，PhysMRV利用这些结构化内存来指导冻结的VLM验证物理合理性，在无需任何模型微调的情况下，在各种VLM和基准测试中均表现出一致的改进。