Multimodal Coherence Score

新度量标准超越任务准确性，评估多模态AI数据一致性

研究人员推出了一种新的度量标准——多模态一致性分数（MCS），旨在评估多模态AI系统中数据融合的质量。与依赖下游任务准确性的传统方法不同，MCS独立评估一致性，并将其分解为四个维度：身份、空间、语义和决策。该度量标准在Visual Genome和COCO等数据集上使用各种融合架构进行了评估，与单独的任务准确性相比，在区分数据质量方面表现出更高的敏感性。MCS轻量级，无需人工标注，并能提供关于数据哪些方面可能存在问题的具体见解。