Mixture of Depths

开源框架加速 LLM 训练，支持 MoE/MoD

一位开发者创建了一个开源 PyTorch 框架，专为训练具有混合专家（MoE）和混合深度（MoD）架构的大型语言模型而设计。该框架包含自定义 CUDA 内核，与标准 PyTorch 相比速度显著提升，并提供了一个自适应训练协调器，可自动管理学习率和专家剪枝等参数。它支持从 50 万到 3000 亿参数的模型，并兼容 Apple Silicon。