一位开发者创建了一个开源 PyTorch 框架，专为训练具有混合专家（MoE）和混合深度（MoD）架构的大型语言模型而设计。该框架包含自定义 CUDA 内核，与标准 PyTorch 相比速度显著提升，并提供了一个自适应训练协调器，可自动管理学习率和专家剪枝等参数。它支持从 50 万到 3000 亿参数的模型，并兼容 Apple Silicon。 AI
影响 该框架可以实现更高效的大型语言模型训练，可能降低开发高级人工智能的门槛。
排序理由 这是一个用于训练 LLM 的框架的开源发布，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →