Koorosh Aslansefat

新框架ConceptSMILE审计AI概念解释的可靠性

研究人员开发了ConceptSMILE，这是一个新的模型无关框架，旨在审计人工智能中基于概念的解释的可靠性。该框架扩展了现有的基于扰动的逻辑，通过测量扰动输入区域后概念响应的变化来评估概念的可靠性。ConceptSMILE通过归因准确性、代理保真度、忠实性、稳定性和一致性等指标来评估解释。对视网膜眼底图像进行的初步评估，比较了MedSAM和视觉语言模型（VLM）导出的概念，表明不同概念和路径的可靠性各不相同。