研究人员推出SOMA,一个旨在评估多模态大语言模型(MLLM)细粒度自我中心身体运动推理能力的新基准。该基准包含1,632个经人类验证的问题,揭示了当前MLLM与人类准确性之间存在显著的性能差距。虽然评估中最强的模型Qwen3.6-27B在零样本准确率上达到了50.0%,而人类在此任务上的得分是68.5%。为解决这些局限性,研究人员还发布了一个训练数据集和一个多模态基线模型,以促进该领域的进一步研究。 AI
影响 突出了MLLM理解中的一个关键差距,可能指导未来研究朝着更接近人类的感知和交互方向发展。
排序理由 该集群描述了一个新的学术基准和相关的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →