PulseAugur
中
实时 07:43:51
English(EN) FairCoder: Probing LLM Bias in High-Stakes Decision Making via Coding Tasks

新基准FairCoder探测LLM在高风险决策中的偏见

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了FairCoder，一个旨在识别大型语言模型（LLM）在高风险决策（如招聘或招生）中的偏见的新基准。该基准将决策任务框架化为编码问题，从而能够系统地探测跨越不同领域和公平性定义的隐性偏见。为了解决LLM可能拒绝请求的情况，该研究还引入了FairScore，一个评估拒绝行为和群体结果多样性的指标。使用1000个样本数据集对先进LLM进行的初步实验揭示了先前未被认识到的偏见模式，例如在大学招生中偏袒来自更富裕背景的申请人，这凸显了在关键决策角色中部署LLM的风险。 AI

影响 强调了LLM在关键决策中部署的风险，并为未来的偏见研究提供了框架。

排序理由 该集群包含一篇研究论文，详细介绍了用于评估LLM偏见的新基准和指标。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准FairCoder探测LLM在高风险决策中的偏见

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Yongkang Du, Jen-tse Huang, Jieyu Zhao, Lu Lin ·

    FairCoder：通过编码任务探究高风险决策中的大型语言模型偏见

    arXiv:2501.05396v3 Announce Type: replace Abstract: Large language models (LLMs) are increasingly used in high-stakes decisions such as hiring and college admissions, making their social bias a critical concern. While LLMs are trained to refuse explicitly biased requests, bias ca…

相关实体

相关话题