PulseAugur
中
实时 08:53:46
English(EN) Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale

开源管道增强大型图书收藏的 OCR 文本处理能力

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了“Institutional Books - Enriched Text” (IB-HL-ET)，一个开源管道，旨在处理大量数字化的图书收藏，特别是哈佛图书馆的 IB-HL 数据集。该管道旨在通过保留元数据而非激进地过滤内容来改进标准的文本处理方法。该系统可以检测段落语言、识别重复内容并计算文本质量分数，允许用户根据大约 250 种语言的特定需求定制数据提取。 AI

影响 能够对大型数字化文本语料库进行更细致和可定制的分析，可能改进下游 AI 模型训练。

排序理由 该集群描述了一篇详细介绍文本处理开源管道的研究论文。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

开源管道增强大型图书收藏的 OCR 文本处理能力

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · David Lowry-Duda, Matteo Cargnelutti, Catherine Brobston, Salwa Ismail, Greg Leppert, Amanda Watson, Jonathan Zittrain ·

    机构图书 - 增强文本：一个可定制的多语言开源管道，用于大规模降噪、去重和注释 OCR 文本

    arXiv:2608.19026v1 Announce Type: new Abstract: Released in 2025, Institutional Books: Harvard Library (IB-HL) is a collection of 983,004 volumes (242B o200k_base tokens), originally digitized through Harvard Library's participation in the Google Books Library project. As researc…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    机构图书 - 增强文本：一个可定制的多语言开源管道，用于大规模降噪、去重和注释 OCR 文本

    Released in 2025, Institutional Books: Harvard Library (IB-HL) is a collection of 983,004 volumes (242B o200k_base tokens), originally digitized through Harvard Library's participation in the Google Books Library project. As researchers and developers have begun to use IB-HL, a t…

相关实体

相关话题