一个名为PURE的新基准已被开发出来,用于评估多模态大语言模型(MLLM)在身份匹配任务上的表现,特别是在电子商务领域。PURE在14个任务和1,457个问题中评估了四个关键能力:感知(Perception)、理解(Understanding)、推理(Reasoning)和证据支持的判断(Evidence-grounded Judgment)。对十个近期MLLM的初步测试显示,得分范围从47.1%到86.0%,模型在理解任务上的表现普遍优于判断任务,并在识别视觉差异和变体级别规则判断方面表现出特定弱点。 AI
影响 该基准测试有望促使对多模态模型进行更细致的评估,推动其在推理和判断能力方面的发展。
排序理由 该集群描述了一个用于评估AI模型的新学术基准。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →