IKEA-Bench

新基准测试视觉-语言模型在宜家组装说明上的表现

研究人员开发了IKEA-Bench，一个旨在评估视觉-语言模型（VLMs）在理解和对齐来自图示的组装说明与真实视频信息方面性能的新基准。该基准包含针对29种宜家家具产品的6种任务类型共1623个问题，研究表明，虽然文本说明可以被恢复，但它们可能会阻碍图示与视频之间的对齐。研究还发现，VLM架构家族比参数数量更能预测对齐准确性，并且视频理解仍然是一个重要的瓶颈。