SmolLM3-3B-Base

AMD 发布拥有 2.8B 激活参数的开源 Instella-MoE-16B LLM

AMD 发布了 Instella-MoE-16B-A3B，这是一款开源的专家混合（Mixture-of-Experts）语言模型。该模型拥有 160 亿总参数，但每个 token 仅激活 28 亿参数，利用了门控多头潜在注意力（Gated Multi-head Latent Attention）和 FarSkip-Collective 连接等架构创新，以提高训练和推理速度。虽然训练代码采用 MIT 许可且高度可重用，但模型权重是在 R…