研究人员推出了OpenHome,这是一个旨在评估视觉语言模型(VLM)在智能家居摄像头视频分析方面能力的基准。与专注于精选网络视频的现有基准不同,OpenHome使用了真实的智能家居片段,这些片段通常缺乏旁白,并面临角度和光线变化等挑战。该基准包含10个任务中的2,254个问题,分为感知、推理和洞察,以评估不同级别的理解能力。在评估中,Gemini 4 Argon模型取得了最高的81.2%的总体准确率,而闭源模型在所有任务类别中的表现普遍优于开放权重模型。 AI
影响 为智能家居视频分析中的AI建立了新的评估标准,有望推动实际应用的改进。
排序理由 该集群描述了一篇介绍AI研究基准数据集的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →