English(EN) Data Quality in RVL-CDIP: A Systematic Audit

RVL-CDIP 基准审计揭示数据质量问题和敏感数据

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-26 04:00

对用于文档分类的 RVL-CDIP 基准进行的一项新审计揭示了显著的数据质量问题，包括约 10.5% 的文档标签不正确，以及 35.2% 的测试集在训练集中存在重复。这些缺陷会影响模型性能，最先进的模型在移除识别码或在其他来源的文档上进行训练时会降低准确性。审计还识别出近 16,000 份包含敏感个人数据的文档，并已生成去标识化版本。在修复这些缺陷并重新训练模型后，最准确的模型 LayoutLMv3 达到了 96.5% 的准确率，比原始状态提高了 0.9 至 2.9 个百分点。 AI

影响强调了 AI 基准中健全数据质量的关键需求，影响模型可靠性和泛化能力。

排序理由该项目是一篇学术论文，详细介绍了对基准数据集的系统审计。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 13 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该项目是一篇学术论文，详细介绍了对基准数据集的系统审计。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Stefan Larson, Kevin Leach · 2026-10-26 04:00

RVL-CDIP中的数据质量：一项系统性审计

arXiv:2610.32126v1 Announce Type: cross Abstract: RVL-CDIP is the de facto standard benchmark for document classification, and reported accuracy on it is now 98.8%. In this paper, we audit RVL-CDIP for data quality issues and find that approximately 10.5% of its 400,000 documents…

本文如何被排名

报道来源 [1]

RVL-CDIP中的数据质量：一项系统性审计

相关实体

相关话题