研究人员对像素级地球观测基础模型进行了大规模扩展研究，涉及在 1,024 个 GH200 超级芯片上进行 395 次训练运行。研究发现，预训练损失是下游性能的糟糕预测指标，当模型仅基于此指标选择时会导致计算资源浪费。一项关键发现是，随着训练预算的增加，编码器和数据应一起扩展，而投影仪保持固定，这为分配计算资源提供了一种清晰的方法。该团队训练了蒸馏模型，其中 2100 万参数的 TESSERA v2-1B-M 在聚合性能上优于更大的开源和专有模型，并提供用于高效部署的 Matryoshka 表示。 AI
影响 为扩展像素级地球观测基础模型提供了一个基于实证的方案，有望提高地理空间人工智能应用的效率和性能。
排序理由 学术论文，详细介绍了基础模型的扩展研究和新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
