研究人员推出了O-IN-Bench,一个旨在评估全模态大语言模型(LLMs)在视频上下文中理解口头意图能力的新基准。该基准包含1000个中文和英文样本,涵盖不同类别,并设有对比对来测试依赖上下文的响应。初步评估显示,即使是表现最佳的模型Gemini3.7-Flash,在准确判断内容需求方面也存在困难,突显了识别请求与满足请求之间的差距。 AI
影响 该基准有望推动大语言模型在处理和响应多模态、上下文感知口头请求方面的改进。
排序理由 该集群描述了一篇介绍用于评估AI模型的新型基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →