研究人员推出了SituRecBench,这是一个新的基准,旨在评估前沿视觉语言模型(VLMs)在3D环境中作为情境化推荐助手的功能。该基准模拟了现实世界场景,例如在超市和家居用品店购物,其中助手必须理解用户偏好,在环境中视觉化地定位推荐,并通过对话和导航引导用户。使用SituRecBench进行的实验表明,当前的VLMs在空间定位和有效引导用户偏好方面仍然存在困难,这表明它们在将广泛的上下文信息与即时观察相结合的能力方面存在局限性。 AI
影响 该基准可以加速为现实世界应用开发更具上下文感知和交互性的AI助手。
排序理由 该集群描述了一个用于评估AI模型的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
- 3D environments
- CORE Recommender
- Home Furnishings Stores
- Hugging Face
- SituRecBench
- vision-language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →