English(EN) Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources

新框架审计AI基准的用户偏见和数据代表性

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-15 04:00

一个新用户中心审计框架已被开发出来，用于批判性地审查AI评估资源，区分贡献基准内容者和其需求旨在被代表者。该框架评估了基准内容、元数据、文档和评分程序中的七个维度。对16个资源的分析显示，文本基准中存在显著偏向美国中心惯例的倾向，并且在图像-文本资源中，地理可见性与GDP之间存在很强的相关性。此外，观察到一个持续存在的差距，即源用户上下文被操作化，但目标用户上下文未被操作化；实验表明，保留意义的答案变体可以极大地降低DROP等基准上的精确匹配准确率。 AI

影响该框架可能带来更公平和更具代表性的AI评估，提高跨不同用户群体的基准分数的可靠性。

排序理由该集群包含一篇学术论文，详细介绍了审计评估资源的新框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 12 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇学术论文，详细介绍了审计评估资源的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Mir Tafseer Nayeem, Davood Rafiei · 2026-10-15 04:00

谁的数据，谁的基准？用于审计评估资源的以用户为中心的框架

arXiv:2610.19268v1 Announce Type: new Abstract: Benchmarks shape how model capabilities are measured and interpreted, yet their scores can obscure whose conventions, contexts, and judgments define successful performance. We introduce a user-centric audit framework that distinguis…

本文如何被排名

报道来源 [1]

谁的数据，谁的基准？用于审计评估资源的以用户为中心的框架

相关实体

相关话题