MIT3

新的MIT3框架通过测试时训练增强长视频理解能力

研究人员开发了一个名为“通过测试时训练实现记忆内化”（MIT^3）的新框架，用于长视频理解。该方法通过将知识写入紧凑的、视频特定的参数来使模型适应特定视频。该框架识别模型内存储知识的最佳位置，并使用视觉记忆蒸馏来训练一个仅文本的记忆，以复制视觉证据的效果。与以前的参数化视频记忆技术相比，MIT^3在数据高效的无视频问答方面表现更好，合成样本更少。