Nvidia 和 AI4Bharat 合作创建了 Nemotron-pretraining-Indic-v1,这是一个包含约 2.8 万亿个标记、涵盖 22 种印度语言的数据集。该项目旨在解决印度语言数据稀缺的问题,而数据稀缺阻碍了先进 AI 模型的发展。该项目还包括一个开源的、GPU 加速的数据生成管道,允许开发人员复制、改编和扩展该过程以满足自身需求。 AI
影响 为训练 22 种印度语言的 AI 模型提供了重要的新资源,可能加速这些地区的 AI 开发和可访问性。
排序理由 发布了针对多种语言的大规模数据集和相关数据生成管道。[lever_c_demoted from research: ic=1 ai=1.0]
- AI4Bharat
- Hugging Face Blog
- Indian Institute of Technology Madras
- Mitesh Khapra
- Nemotron-pretraining-Indic-v1
- Nvidia
- TIME100 AI list
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →