PulseAugur
中
实时 11:27:16
English(EN) Data Quality in RVL-CDIP: A Systematic Audit

审计揭示标准 RVL-CDIP 基准测试存在严重数据质量缺陷

作者 PulseAugur 编辑部 · [2 个来源] ·

对 RVL-CDIP 数据集（一种标准的文档分类基准测试）的新审计揭示了严重的数据质量问题。研究人员发现，大约 10.5% 的文档标签不正确，并且测试集中有相当比例的 35.2% 包含训练集中存在的重复或近乎重复的项。这些缺陷可能导致准确率得分虚高，以及模型在分布外数据上表现不佳。该研究还识别出近 16,000 份文档中包含敏感的个人数据，并已生成去标识化版本。在修复这些缺陷后，重新基准测试的模型显示出准确率的提高，其中 LayoutLMv3 达到了 96.5%。 AI

影响 RVL-CDIP 中识别出的数据质量问题可能有助于构建更健壮、更可靠的文档分类模型。

排序理由 该集群包含一篇审计广泛使用的数据集的论文，识别出重大缺陷并发布了修正版本。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

审计揭示标准 RVL-CDIP 基准测试存在严重数据质量缺陷

本文如何被排名

Signal score
20 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群包含一篇审计广泛使用的数据集的论文，识别出重大缺陷并发布了修正版本。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Stefan Larson, Kevin Leach ·

    RVL-CDIP中的数据质量：一项系统性审计

    arXiv:2610.32126v1 Announce Type: cross Abstract: RVL-CDIP is the de facto standard benchmark for document classification, and reported accuracy on it is now 98.8%. In this paper, we audit RVL-CDIP for data quality issues and find that approximately 10.5% of its 400,000 documents…

  2. Medium — MLOps tag TIER_1 English(EN) · Ismail Elouafiq ·

    迈向数据纪律

    <div class="medium-feed-item"><p class="medium-feed-image"><a href="https://nidhog.medium.com/towards-a-data-discipline-5aab9368a1f8?source=rss------mlops-5"><img src="https://cdn-images-1.medium.com/max/1200/1*sWhyvL2C4EmryWd-98H6LQ.png" width="1200" /></a></p><p class="medium-f…

相关实体

相关话题