研究人员推出了 OmniCapBench，这是一个旨在评估多模态大语言模型 (MLLM) 细粒度视听字幕能力的新评估框架。该基准测试通过将评估目标从自由文本转移到跨实体引用、视觉镜头和音频事件的原子、可验证单元，解决了现有方法的局限性。使用 OmniCapBench 对前沿 MLLM 进行的初步评估表明，它们具有强大的局部感知能力，但在长时视听推理方面暴露出弱点，尤其是在身份漂移和跨模态失准方面。 AI
影响 识别 MLLM 长时视听推理的具体弱点，指导未来发展。
排序理由 该集群描述了一篇介绍多模态 LLM 评估框架的新学术论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Audio Events Clustering Based on Agglomerative Information Bottleneck
- audio--visual captioning
- entity references
- Hugging Face
- LLM judges
- MLLMs
- Multimodal Large Language Models
- OmniCapBench
- visual shots
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
