Nvidia 发布了 TensorRT-LLM v1.3.0,这是其用于优化大型语言模型推理的库的稳定版本。此次发布包括对 Nvidia Rubin GPU 等新硬件以及 DeepSeek-V4、Kimi K3 和 Minimax M3 等模型的新支持。更新还引入了新的服务功能,包括 Anthropic Messages 端点和改进的投机解码技术,以及重大的基础设施变更和 13 项在升级前需要仔细审计的重大变更。 AI
影响 此次发布为 LLM 推理提供了性能优化和更广泛的模型支持,可能提高 AI 开发者的效率。
排序理由 这是一个软件库发布,而非前沿模型发布或重大行业事件。
- Anthropic
- Blackwell
- CUDA Toolkit
- DeepSeek V4
- GitHub
- Kimi k3
- Minimax M3
- Nvidia
- Nvidia Rubin Gpu
- ONNX
- PyTorch
- TensorRT-LLM
- VisualGen
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →