研究人员推出了DIVE，这是一个旨在评估多模态大语言模型（MLLM）在连续、实时交互场景中的新基准。与专注于带时间戳问答的现有基准不同，DIVE评估了模型在不断变化的视听流中识别相关线索、决定何时响应以及保持参与的能力。该基准包括在三种交互场景（主动干预、持续参与和交互协调）中的六项任务，使用了525个带注释的音频/视频样本。对当前实时模型的初步实验显示了亚秒级的响应延迟，但表明在将持续响应调整为新信息方面存在挑战，平均窗口响应率不超过53.77%。 AI
影响 该基准测试有望推动更自然、更强大的实时多模态交互式AI系统的进步。
排序理由 该集群包含一篇介绍用于评估AI模型的新基准的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
