研究人员开发了 MESH，这是一种新颖的优化技术，旨在提高混合专家（MoE）模型训练的效率。传统的内存高效优化器（如 Sinkhorn）由于 MoE 架构的梯度具有条件性和可变性，因此在 MoE 架构上存在困难。MESH 引入了一种隐藏动量 Sinkhorn 更新，可保留时间一阶矩信号，与 AdamW 相比，优化器状态内存减少约 62.5%，峰值 PyTorch CUDA 分配减少约 12.6%，同时保持具有竞争力的评估损失。 AI
影响 为大型 MoE 模型引入了一种更节省内存的训练方法，有可能降低计算成本并支持更大模型的开发。
排序理由 研究论文，详细介绍了用于 AI 模型训练的新优化方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
