一篇新的研究论文介绍了一个名为SleuthVLM的视频理解智能体框架，该框架绕过了直接的音频处理。SleuthVLM将语音转录为文本，并使用视觉语言模型独立分析视频内容。这种方法在长视频基准测试中表现出色，优于Gemini 3.8 Flash等模型，并在Video-MME-v2排行榜上取得了最高分。研究结果表明，对于全视频理解，智能体推理能力比直接音频输入更关键。 AI
影响 强调了在复杂AI任务中，智能体推理比直接模态处理更重要。
排序理由 该集群包含一篇详细介绍新模型架构和基准测试结果的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
SleuthVLM uses a vision-language model with transcribed speech and autonomous video sleuthing to outperform direct audio-hearing omni models on long-video benchmarks, showing that agentic reasoning matters more than auditory input.
arXiv:2611.06083v1 Announce Type: new Abstract: Omni models answer questions about videos by jointly processing sampled frames and audio in one turn, with progress driven largely by scaling model size and omni training data. We ask whether a model needs to hear the audio directly…