BLIP2

新指标衡量AI解释中的单义性

研究人员开发了一种名为Tversky单义性分数（TMS）的新指标，以更好地评估稀疏自编码器（SAEs）在机械可解释性中生成的解释的质量。与依赖外部概念标签或预训练嵌入模型的先前方法不同，TMS是一种无标签指标，通过分析二值化SAE潜在激活的一致性来衡量单义性。这个新分数对编码器各向异性不敏感，并与现有的单义性指标一致，为不同基础模型和SAE训练机制提供了更稳健的评估。