Concept Embedding Models

AI模型概念准确性受审计，揭示基准测试潜在缺陷

一篇新发表在arXiv上的研究论文调查了概念瓶颈模型（CBMs）和概念嵌入模型（CEMs）在CUB-200-2011数据集上的准确性。研究表明，尽管CBMs承诺通过概念实现人类可检查的预测，但它们在CUB上的准确性并非完全来源于这些暴露的概念分数。研究指出，通过各种设计选择，类别信息可能会泄露到概念分数中，并且限制模型仅使用局部特征会显著降低准确性，这表明当前的基准测试可能高估了模型真正的概念理解能力。