华为发布了其openPangu-2.0模型的训练代码,该模型专为华为的Ascend原生混合专家(MoE)栈设计。此次发布包括预训练、监督微调(SFT)和人类反馈强化学习(RL)的代码。开源代码是对先前发布的模型权重(特别是Pro (505B)和Flash (92B)版本)的补充。 AI
影响 此次发布为研究人员和开发人员提供了在华为Ascend硬件上训练和微调大规模MoE模型的工具,有望促进人工智能开发的创新。
排序理由 大型语言模型训练代码的开源发布。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →