Audio-Video Needle-in-a-Haystack

AVOC框架提升大语言模型长篇音视频理解能力

研究人员开发了AVOC，一个旨在增强全模态大语言模型（Omni-modal LLMs）长篇音视频理解能力的新型框架。AVOC通过采用一个可学习的令牌压缩模块来解决上下文窗口大小和信息冗余的限制。该模块将压缩重构为一个Top-K检索问题，根据相关性、重要性和多样性标准选择一小组令牌。实验表明，AVOC在长篇音视频基准测试中取得了最先进的性能，显著优于现有模型，并在小时级任务上保持了稳健的性能。