研究人员对像素级地球观测基础模型进行了大规模扩展研究,在 1,024 个 NVIDIA GH200 超级芯片上进行了 395 次训练运行。研究发现,预训练损失是下游性能的糟糕预测指标,这表明将计算资源集中在更大的编码器和更多数据上,而不是更大的投影仪上,更为有效。该团队训练了一系列模型,包括拥有 2100 万个参数的 TESSERA v2-1B-M,其性能优于更大规模的开源和专有模型,并通过 Matryoshka 表示法实现了高效服务。 AI
影响 为高效扩展地球观测基础模型提供了数据驱动的方案,有可能加速部署并提高性能。
排序理由 该集群描述了一篇研究论文,详细介绍了关于扩展地球观测基础模型的大规模实证研究。
在 Hugging Face Daily Papers 阅读 →
- Barlow Twins
- Earth-observation
- GH200 superchips
- TESSERA v2
- Earth Foundation Models
- GeoTESSERA
- Matryoshka
- NVIDIA GH200
- Sentinel-1
- Sentinel-2
- TESSERA v2-1B-M
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →