研究人员开发了AVOC，一个旨在增强全模态大语言模型（Omni-modal LLMs）长篇音视频理解能力的新型框架。AVOC通过采用一个可学习的令牌压缩模块来解决上下文窗口大小和信息冗余的限制。该模块将压缩重构为一个Top-K检索问题，根据相关性、重要性和多样性标准选择一小组令牌。实验表明，AVOC在长篇音视频基准测试中取得了最先进的性能，显著优于现有模型，并在小时级任务上保持了稳健的性能。 AI
影响 该框架可以使大语言模型处理和理解更长的视频和音频内容，为内容分析和摘要等新应用开辟了可能性。
排序理由 该集群描述了一篇详细介绍多模态大语言模型新框架的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.24286v1 Announce Type: new Abstract: Multimodal Large Language Models have achieved remarkable progress in short-form audio-video understanding, yet long-form audio-video comprehension remains challenged by limited context windows and severe information redundancy. To …
Multimodal Large Language Models have achieved remarkable progress in short-form audio-video understanding, yet long-form audio-video comprehension remains challenged by limited context windows and severe information redundancy. To address these bottlenecks, we propose AVOC, a fr…