Mamba-Transformer Mixture-of-Experts

Amazon SageMaker 为 NVIDIA Nemotron 3 LLM 增加无服务器微调功能

Amazon SageMaker AI 现在为 NVIDIA 的 Nemotron 3 系列开放权重大型语言模型提供无服务器模型定制。此功能允许企业使用监督微调 (SFT) 和强化学习等技术微调 Nemotron 3 Nano 和 Nemotron 3 Super 等模型，而无需管理基础设施。Nemotron 3 架构结合了 Mamba-Transformer 专家混合层，可实现高效的序列处理和参数激活，从而以更低的计算成本实现高吞吐量和准确性。