APT-Tune

新的APT方法增强了VLM对视频中物理因果的理解

研究人员引入了原子物理转换（APTs）作为一种新颖的方法，用于改进视觉-语言模型（VLMs）的因果视频语言理解。目前的VLMs难以掌握事件的底层物理原理，常常错过关键的状态变化。为了解决这个问题，创建了一个新的APTs数据集，并开发了一种名为APT-Tune的参数高效微调技术。该方法在不牺牲模型通用视频理解能力的情况下，增强了模型学习因果转换的能力。