entity references

OmniCapBench 基准测试探究 MLLM 视听推理极限 · 跟踪 2 个来源

研究人员推出了 OmniCapBench，这是一个旨在评估多模态大语言模型 (MLLM) 细粒度视听字幕能力的新评估框架。该基准测试通过将评估目标从自由文本转移到跨实体引用、视觉镜头和音频事件的原子、可验证单元，解决了现有方法的局限性。使用 OmniCapBench 对前沿 MLLM 进行的初步评估表明，它们具有强大的局部感知能力，但在长时视听推理方面暴露出弱点，尤其是在身份漂移和跨模态失准方面。