PulseAugur
中
实时 11:40:20
English(EN) TERRA: A Hierarchical Parallel Training and Memory Orchestration Framework for High-Resolution AI-based Earth Modeling

TERRA框架解决了高分辨率人工智能地球建模的内存需求

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了TERRA，一个旨在应对训练高分辨率人工智能地球预测模型内存密集型需求的新框架。TERRA引入了采样感知窗口、序列和张量并行（SAWSTP）来管理注意力成本和内存使用，特别是对于Swin Transformers等模型。该框架还集成了内存编排（MO）以在长周期微调期间进行高效的检查点规划和激活卸载。实验表明，TERRA能够在96个H200 GPU上训练多达114亿参数的模型，实现了显著的扩展效率并降低了峰值GPU内存使用量。 AI

影响 通过优化内存和计算效率，能够训练更大、更准确的人工智能地球预测模型。

排序理由 该集群描述了在关于人工智能地球建模的学术论文中提出的一种新框架和并行技术。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

TERRA框架解决了高分辨率人工智能地球建模的内存需求

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Ruohan Wu, Ziqi Zhu, Yang Zhao, Jiarui Tang, Yingzhe Cui, Junshi Chen, Zhao Jing, Jun Shi, Hong An ·

    TERRA：一种用于高分辨率人工智能地球建模的分层并行训练和内存编排框架

    arXiv:2608.15211v1 Announce Type: new Abstract: Training high-resolution AI-based Earth forecasting models is memory-intensive. Window-based Swin Transformers reduce the quadratic cost of global attention, but existing distributed systems such as AERIS primarily target pixel-leve…

相关实体

相关话题