Representation Integrity

新研究重新思考概念瓶颈模型以提高可解释性

两篇新研究论文探讨了概念瓶颈模型（CBMs）的可解释性，该模型旨在通过人类可理解的概念来分解预测，从而使深度学习模型更加透明。第一篇论文介绍了“Clarity”，一种诊断指标，用于评估下游性能与概念激活的语义对齐之间的权衡，发现模型可以通过偏离语义对齐来优化任务性能。第二篇论文提出了“表示完整性”作为CBMs的一个关键属性，并引入了组一致性和概念覆盖率等指标来评估支持概念的特征的组织程度，表明概念完整性是超越简单准确性的一个重要标准。