Nemotron 3 Ultra 550B A55B

NVIDIA 开源 NeMo AutoModel，MoE 微调速度提升 3.7 倍

NVIDIA 已开源 NeMo AutoModel，该工具旨在显著加速专家混合（MoE）AI 模型的微调。通过在现有的 Hugging Face Transformers v5 代码中添加一行导入，用户可以实现高达 3.7 倍的训练吞吐量提升，并将 GPU 内存使用量减少高达 32%。这种性能提升归功于专家并行、用于融合计算和通信的 DeepEP 以及用于内核加速的 Transformer Engine 等技术。