AdaAlloc

AdaAlloc框架优化长视频问答的视觉标记分配

研究人员推出AdaAlloc，一个旨在优化长视频问答视觉标记分配的新型框架。这种无需训练的推理方法通过自适应地平衡全局上下文和详细的局部证据，解决了视觉标记有限的挑战。AdaAlloc规划分配策略，识别相关视频片段，并将其提炼成时间记忆，控制帧采样密度和分辨率。该系统在LVBench和MLVU等基准测试中表现出显著的改进，比均匀采样高出10.5个百分点。