研究人员推出了 YANAMI，这是一个新的大规模多模态数据集和基准，旨在评估统一多模态模型 (UMMs) 中的有状态交互。当前的 UMM 在需要跟踪多轮对话中不断变化的对话状态的任务时经常遇到困难，YANAMI 旨在解决这一局限性。该数据集包含 400,000 个对话和超过 200 万张图像，涵盖图像编辑和视觉推理等场景，并评估对话状态理解和视觉实现。 AI
影响 该数据集可以通过更好地评估多模态人工智能代理在交互过程中保持上下文和状态的能力来推动其改进。
排序理由 该集群描述了一个用于评估多模态人工智能模型的新数据集和基准，属于研究范畴。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
YANAMI introduces a large-scale multimodal dialogue dataset and benchmark for stateful interaction, requiring models to track and realize evolving dialogue states across turns, and reveals that current unified multimodal models still struggle with this task.
Single-prompt evals can't surface stateful failures. YANAMI is a new multimodal dataset and benchmark built for multiturn, stateful interaction — the eval design that agentic model testing has been missing. Worth a close look if you're working on LLMs or agentic # AI # LLM https:…