PulseAugur
中
实时 03:25:16
English(EN) Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

Nvidia 和 AI4Bharat 发布包含开放生成管道的 2.8T 标记印度语数据集

Nvidia 和 AI4Bharat 合作创建了 Nemotron-pretraining-Indic-v1,这是一个包含约 2.8 万亿个标记、涵盖 22 种印度语言的数据集。该项目旨在解决印度语言数据稀缺的问题,而数据稀缺阻碍了先进 AI 模型的发展。该项目还包括一个开源的、GPU 加速的数据生成管道,允许开发人员复制、改编和扩展该过程以满足自身需求。 AI

影响 为训练 22 种印度语言的 AI 模型提供了重要的新资源,可能加速这些地区的 AI 开发和可访问性。

排序理由 发布了针对多种语言的大规模数据集和相关数据生成管道。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Blog 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Nvidia 和 AI4Bharat 发布包含开放生成管道的 2.8T 标记印度语数据集

本文如何被排名

Signal score
34 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
发布了针对多种语言的大规模数据集和相关数据生成管道。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. Hugging Face Blog TIER_1 English(EN) ·

    扩展印度预训练模型:2.8万亿个Token及开放数据生成管道