人工智能研究所 (Ai2) 发布了 Olmo-core 3,这是其 Olmo 语言模型的开源训练框架。新版本引入了分布式数据并行方法,取代了之前的全分片数据并行。这一改变通过确保每个 GPU 保留其模型分区,并且仅将选定的 token 行发送到相关专家,从而显著提高了吞吐量,并降低了与存储所有参数相关的“容量税”。 AI
影响 该框架新的并行策略可能导致更高效的大型专家混合模型训练,从而降低成本并加速开发。
排序理由 发布了具有技术细节和性能改进的语言模型开源训练框架。[lever_c_demoted from research: ic=1 ai=1.0]
- ai2-olmo-core
- Allen Institute for Artificial Intelligence
- Apache Software License 2.0
- Hugging Face
- NVIDIA B300
- Olmo
- Olmo-3-32B
- OLMo 3 7B
- Olmo-core 3
- Python Package Index
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →