NVIDIA的软件栈在Blackwell平台上大幅降低AI推理每token成本

NVIDIA正在强调其为Blackwell平台优化的集成软件栈如何显著降低AI推理的每token成本。通过协调生产运营、应用加速和基础设施访问，NVIDIA的软件栈实现了复合性能提升，使DeepSeek V4等模型的每token成本降低高达5倍。Baseten、Cognition、Deep Infra和Together AI等公司正在利用包括TensorRT-LLM等库和NVIDIA Dynamo等框架在内的该软件栈，以提高效率和扩展其AI工作负载。 AI

影响 优化AI推理成本和性能，可能加速企业采用代理式AI工作负载。

排序理由 文章详细介绍了NVIDIA现有的软件栈如何在其硬件上提高AI推理的性能和成本效益，而不是发布新产品或模型。

在 NVIDIA Blog 阅读 →

• Baseten
• Blackwell
• Cognition
• Cursor
• DeepSeek V4
• DeepSeek V4 Pro
• NVIDIA
• NVIDIA Dynamo
• TensorRT-LLM
• Together AI

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →