MMShopBench

新的MMShopBench基准测试评估多模态AI购物代理

研究人员推出MMShopBench，这是一个旨在评估多模态、多轮购物代理的新基准测试。与依赖纯文本或合成数据的先前基准测试不同，MMShopBench利用真实世界的购物日志，结合图像和对话，以更好地代表复杂的用户需求。该基准测试包含购买意图和产品要求的地面真实标注，挑战代理从多模态输入中推断这些信息，并根据这些信息验证候选产品。初步评估表明，使用提供的训练数据对开源模型进行微调可以显著提高其性能，缩小与领先的专有模型的差距。