English(EN) AMD Releases Instella-MoE-16B-A3B: A Fully Open Mixture-of-Experts LLM With 2.8B Active Parameters Trained On Instinct GPUs

AMD 发布拥有 2.8B 激活参数的开源 Instella-MoE-16B LLM

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-01 19:01

AMD 发布了 Instella-MoE-16B-A3B，这是一款开源的专家混合（Mixture-of-Experts）语言模型。该模型拥有 160 亿总参数，但每个 token 仅激活 28 亿参数，利用了门控多头潜在注意力（Gated Multi-head Latent Attention）和 FarSkip-Collective 连接等架构创新，以提高训练和推理速度。虽然训练代码采用 MIT 许可且高度可重用，但模型权重是在 ResearchRAIL 许可下发布的，限制了商业用途。Instella-MoE-16B-A3B 在多项基准测试中表现强劲，领先于其他完全开源的模型，并实现了 64K 的上下文窗口。 AI

影响为研究提供了一个新的开源 MoE 模型，有望增进对专家路由和长上下文能力的理解。

排序理由发布了一款开源 LLM，包含详细的训练信息和基准测试，但对商业用途有限制性许可。[lever_c_demoted from research: ic=1 ai=1.0]

在 MarkTechPost 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

AMD 发布拥有 2.8B 激活参数的开源 Instella-MoE-16B LLM

报道来源 [1]

MarkTechPost TIER_1 English(EN) · Asif Razzaq · 2026-08-01 19:01

AMD Releases Instella-MoE-16B-A3B: A Fully Open Mixture-of-Experts LLM With 2.8B Active Parameters Trained On Instinct GPUs

<p>AMD released Instella-MoE-16B-A3B, a fully open Mixture-of-Experts language model trained from scratch on Instinct MI300X and MI325X GPUs. It holds 16B total parameters but activates only 2.8B per token, using Gated MLA and FarSkip-Collective. AMD published weights from every …

报道来源 [1]

AMD Releases Instella-MoE-16B-A3B: A Fully Open Mixture-of-Experts LLM With 2.8B Active Parameters Trained On Instinct GPUs

相关实体

相关话题