Institutional Newspapers Pipeline

新管道从历史报纸中提取数十亿词元

研究人员开发了机构报纸管道（Institutional Newspapers Pipeline），这是一个模块化系统，旨在从历史报纸扫描件中提取高质量、结构化数据。该管道与波士顿公共图书馆合作开发，通过分割、OCR和各种文本分析步骤处理扫描件，以分类类型、检测阅读顺序、识别命名实体并生成嵌入。该系统应用于1795年至1930年间发布的超过140万份公共领域报纸扫描件，产生了163亿词元，并形成了一个开放数据集。