NVIDIA 发布了其 Nemotron 3.5 Lightning 模型,现可通过 Amazon SageMaker JumpStart 访问。该开源模型针对大批量代理任务进行了优化,与同类模型相比,吞吐量提高了四倍,任务完成速度提高了 30%。它采用混合专家混合(Mixture-of-Experts)架构设计,在 300 亿总参数中仅使用 30 亿激活参数,从而能够在一块 GPU 上高效执行专门的代理功能。 AI
影响 能够高效执行专门的代理任务,可能降低大批量代理工作负载的成本和延迟。
排序理由 现有模型在云平台上可用。
在 Mastodon — fosstodon.org 阅读 →
- Amazon SageMaker JumpStart
- AWS
- Nemotron 3 Ultra
- Nemotron Coalition
- NVIDIA
- NVIDIA NeMo Switchyard
- NVIDIA Nemotron 3.5 Lightning
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →