Kendall's W

研究发现人工智能偏见审计未能就模型排名达成一致

一项新近发表在arXiv上的研究揭示了不同的偏见审计工具在评估前沿人工智能模型时存在显著差异。虽然大多数工具都能检测到偏见，但它们在基于偏见程度对模型进行排名时却几乎没有一致性，这表明它们衡量的是不同的概念。研究发现，强制选择决策工具往往会过度纠正偏见，而自由生成和默认共指方法通常仍与刻板印象一致。研究结果表明，虽然单一审计可以在其自身框架内识别偏见及其方向，但对于相互比较模型进行排名则不可靠。