awesome-efficient-videollm

调查详细介绍了视频大语言模型的高成本和效率差距

一篇新的调查论文审视了视频大语言模型（VideoLLMs）相关的计算成本。这些模型正变得越来越复杂，但也越来越消耗资源。该论文对VideoLLM管道不同阶段的各种推理效率机制进行了分类和分析，包括帧采样、模态编码和LLM处理。文章强调，虽然这些模型在字幕生成和问答等任务中表现出色，但其高昂的计算和内存需求限制了它们在实时或资源受限环境中的部署。该调查还指出了当前研究中的重大不足，特别是在视听效率研究和评估方法标准化方面。