实体
NVIDIA Triton Inference Server
NVIDIA Triton Inference Server
PulseAugur coverage of NVIDIA Triton Inference Server — every cluster mentioning NVIDIA Triton Inference Server across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
AWS、NVIDIA 和 Heidi Health 将 ASR 推理成本降低 75%
AWS、NVIDIA 和 Heidi Health 合作，在 Amazon EC2 实例上将自动语音识别 (ASR) 推理成本降低了 75%。通过实施 NVIDIA MPS 和 NVIDIA Triton 推理服务器，他们实现了所需 GPU 实例数量的 75% 的降低，从 16 个减少到 4 个，同时保持了亚秒级延迟。这种优化解决了 ASR 中每个请求的 GPU 利用率低的问题，而传统的 CUDA 时间切片会导致大量硬件容量闲置。
-
NVIDIA 与 adtech 公司合作以增强人工智能能力
NVIDIA 正在与多家广告和营销技术公司合作，将其人工智能基础设施集成到他们的平台中。这些合作旨在增强创造力、实现自主运营，并在企业规模上改进决策。Alembic、AWS、Criteo 和 Taboola 等公司正在利用 NVIDIA 的技术，包括 DGX Vera Rubin 系统和 Blackwell GPU，来实现更快的模型训练、更准确的竞价以及为各种营销工作流程开发人工智能代理。
-
NVIDIA Triton 推理服务器：动手实践的 MLOps 部署指南
本文提供了一个使用 NVIDIA Triton 推理服务器部署机器学习模型的实用指南。它引导用户完成在本地机器（特别是 MacBook）上设置 Triton 的过程，并部署他们的第一个模型。内容面向寻求模型服务实操经验的 MLOps 从业者。