English(EN) Data Scout: Targeted Web Crawling for Domain-Specific Pretraining Corpora

Data Scout 方法改进了 AI 预训练语料库的创建

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-10 04:00

研究人员开发了一种名为 Data Scout 的新方法，用于创建专门的 AI 模型预训练语料库。与过滤大型网络存档的传统方法不同，Data Scout 基于 LLM 生成的分类法和搜索查询进行定向爬取。该方法使用用户提供的分类器来筛选子域，显著提高了收集数据的效率和质量。例如，使用数学分类器，Data Scout 在相关内容方面的比率比过滤 Common Crawl 高出 70 倍，而且重要的是，这些高质量数据中有很大一部分不存在于现有存档中。 AI

影响该方法可以显著提高用于训练专业 AI 模型的数据的效率和质量。

排序理由该集群包含一篇详细介绍 AI 预训练语料库创建新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 13 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍 AI 预训练语料库创建新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Chirag Garg, Eelaaf Zahid, Farhan Ahmed, Jay Pankaj Gala, Eric Butler, Heiko Ludwig · 2026-09-10 04:00

Data Scout：针对特定领域预训练语料库的定向网络爬取

arXiv:2609.05766v1 Announce Type: cross Abstract: The dominant approach to building domain-specific pretraining corpora is to filter large web archives such as CommonCrawl. This works well for popular domains but breaks down for specialized ones, where relevant content is sparse …

本文如何被排名

报道来源 [1]

Data Scout：针对特定领域预训练语料库的定向网络爬取

相关实体

相关话题