Warren Jouanneau

New synthetic dataset evaluates AI hiring tools for fairness and effectiveness

研究人员开发了一个新颖的合成数据集和基准，专门用于评估招聘中使用的机器学习模型的有效性和公平性。该数据集基于大量真实的自由职业者档案，包含候选人档案、项目简介和人口统计学双胞胎，以解决隐私问题和商业敏感性。对当前嵌入模型的审计显示，MTEB等通用基准对于人力资源应用来说是不够的，突显了性能差异和公平性差异，尤其是在有语法性别的语言中。