Microsoft AI 发布了一份报告，详细介绍了用于训练其 MAI-1 模型的基础设施。该报告重点介绍了存储和重启过程的特定技术，包括从 DRAM 到对象存储的异步检查点以及通过 InfiniBand 广播数据以实现更快重启。该团队为此过程使用了 Anyscale Ray，并优先考虑位精确可复现性而非最大化浮点利用率。 AI
影响 有关高效训练基础设施的详细信息可以为未来大规模模型开发提供参考。
排序理由 该集群讨论了报告中详细介绍的基础设施和训练技术，属于研究范畴。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Microsoft AI's report on MAI-1 training is full of interesting infrastructure anecdotes, especially around storage: - Async checkpoint from DRAM to object (no node-local SSD used) - Restart is read once from object, then broadcast over InfiniBand to avoid incast - Anyscale Ray fo…
Microsoft AI's report on MAI-1 training is full of interesting infrastructure anecdotes, esp around storage: - Async checkpoint from DRAM to object (no node-local SSD) - Restart is read once, then broadcast - Anyscale Ray for fast restart - Bitwise repro > MFU microsoft.ai/wp-con…