LatentMoE

NVIDIA发布具有1M上下文的Nemotron-3-Ultra LLM

NVIDIA发布了Nemotron-3-Ultra-550B-A55B-BF16，这是一款专为高级代理能力和长上下文分析设计的大型语言模型。该模型采用混合潜在专家混合（Latent Mixture-of-Experts）架构，结合了Mamba-2和Attention层，支持高达100万个token。它针对复杂推理、工具使用和多语言任务进行了优化，总参数量为5500亿，激活参数量为550亿。