NVIDIA发布具有1M上下文的Nemotron-3-Ultra LLM

NVIDIA发布了Nemotron-3-Ultra-550B-A55B-BF16，这是一款专为高级代理能力和长上下文分析设计的大型语言模型。该模型采用混合潜在专家混合（Latent Mixture-of-Experts）架构，结合了Mamba-2和Attention层，支持高达100万个token。它针对复杂推理、工具使用和多语言任务进行了优化，总参数量为5500亿，激活参数量为550亿。 AI

影响 在代理推理和长上下文分析方面设定了新的SOTA（State-of-the-Art），可能影响未来专业AI的发展。

排序理由 NVIDIA发布了带有系统卡的 Frontier-lab 模型。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• Hugging Face
• LatentMoE
• Mamba-2
• Nemotron-3-Ultra-550B-A55B-BF16
• NVIDIA

• 模型发布
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →