mortgage loan

AI公平性基准被批评过于简单化，提出新的基于效用的方法

新研究表明，当前大型语言模型的公平性基准，如BBQ，可能过于简单化。一项研究表明，在BBQ基准上训练像Qwen 2.5 7B Base这样的模型，或使用它进行一次性上下文学习，可以显著提高其准确性。这表明模型可以通过利用结构线索来通过这些基准，而不是实现真正的公平性。另一篇论文提出了一个基于效用的框架来评估公平性，认为仅靠概率指标可能会产生误导，并且不能反映决策的实际后果，正如在大学招生和信用风险评估中的例子所说明的那样。