SnapBench

新的SnapBench基准测试了移动AI的稳健多模态检索能力

研究人员推出了SnapBench，这是一个旨在评估“快照即问”多模态检索系统稳健性的新基准测试，该系统常用于移动AI应用。该基准测试通过在53种受控的图像和文本损坏条件下，使用超过1,100个查询和9,000个图库项进行检索测试，解决了现有数据集的局限性。初步评估显示，图像损坏会显著降低性能，而文本损坏对联合检索的影响较小。该研究还提出了MOOR，一种自适应融合方法，以提高这些多模态场景下的可靠性。