NVIDIA Dynamo
PulseAugur coverage of NVIDIA Dynamo — every cluster mentioning NVIDIA Dynamo across labs, papers, and developer communities, ranked by signal.
- 2026-07-07 product_launch NVIDIA launched Dynamo, a new open-source framework for LLM and agent inference. 来源
9 天有情绪数据
-
NVIDIA Dynamo 1.6.2 改进了 LLM 错误处理和工作程序稳定性
NVIDIA Dynamo v1.6.2 为 LLM 服务引入了两项关键改进。首先,它现在会为超大提示返回 HTTP 400 错误,而不是 500 错误,从而防止不必要的重试并减少服务器负载。其次,SGLang 工作程序可使用一个选择性标志 DYN_SGL_FREEZE_GC_AFTER_INIT 来最小化长操作期间的流式传输停顿。这些更改旨在提高 LLM 推理管道的效率和可靠性。
-
AWS 详解 2026 年 SageMaker 推理更新,以提高效率和规模
AWS 详细介绍了 Amazon SageMaker 推理的一系列新功能和更新,重点关注提高 2026 年的模型部署和效率。这些更新解决了实际流量选择最佳配置、最大化 GPU 利用率以及管理超出单机容量的模型等挑战。关键增强功能包括新的路由策略、扩展的多区域网络以及与更广泛的 AWS AI 生态系统的深度集成,通过 SageMaker AI Studio 和 SageMaker Python SDK 等各种工具提供推理建议。
-
NVIDIA 和 Microsoft 将 AI 合作扩展到 Azure 和 Windows PC
NVIDIA 和 Microsoft 正在深化合作,将加速计算和 AI 功能带到更广泛的应用中。此次合作从 Azure 云基础设施扩展到 Windows PC,使组织能够更有效地构建和部署智能应用程序。关键进展包括通过 Microsoft Foundry 增强对 NVIDIA 硬件和开放模型的访问,改进边缘 AI,以及在机密计算方面取得进展,以保护敏感数据和模型。
-
NVIDIA 详解 AI 进展和 GPU 优化 · 跟踪 4 个来源
NVIDIA 正在多个领域强调 AI 和 GPU 技术的进展。该公司正通过 NVIDIA Dynamo 专注于减少强化学习中的瓶颈,利用 GPU 原生数据采集技术为科学仪器实现实时 AI,并通过 K-Point Batching 和 Mixed Precision 技术解决平面波 DFT 计算中的 GPU 限制。此外,NVIDIA 还发布了其 RTX Spark 紧凑型台式机。
-
AWS SageMaker 集成 NVIDIA Dynamo 以实现高效的 LLM 推理
Amazon SageMaker HyperPod 推理现已与 NVIDIA Dynamo 集成,这是一个开源的分布式推理框架。这种结合旨在通过解决 GPU 内存限制和提示处理协调等挑战来提高服务大型语言模型 (LLM) 的效率。此次集成支持多节点部署以及预填充和解码阶段的分离,并具有键值感知路由和优化调度等功能。
-
NVIDIA Dynamo 发布滞后于最新引擎,快照风险更高
对 NVIDIA Dynamo 发布版本的最新分析显示,稳定版本通常落后于最新可用的引擎更新,在发布日,固定的 vLLM 和 SGLang 版本平均已有 30 天。研究还发现,明确表示非生产用途的快照构建数量远超稳定版本,并且经常偏离未修改的引擎版本,有时会包含已修补的版本或原始提交。这些快照构建可能引入兼容性问题,例如不兼容的传输协议或对 KV 块大小和推测解码设置的特定要求。
-
MIT开发用于机器人推理和物质模拟的AI;NVIDIA支持韩国开源模型
MIT的研究人员开发了一个AI辅助学习平台,使机器人能够理解并执行超越字面解释的指令。另外,MIT还创建了一个能够模拟从沙子等颗粒物到蛋白质折叠等复杂生物过程的多种物质行为的单一AI模型。在相关新闻中,NVIDIA正通过其NVIDIA Dynamo配方,助力韩国领先的开源模型的生产。
-
NVIDIA Dynamo recipes accelerate deployment of Korean open-source AI models
NVIDIA 已发布针对韩国多家领先开源 AI 模型(包括 A.X K2、K-EXAONE 2.0、Solar Open 2 和 Motif-3)的优化部署配方。这些由 NVIDIA Dynamo 提供支持的配方旨在简化数据中心环境中跨多 GPU 的大型模型的部署。通过处理复杂的路由和通信,NVIDIA Dynamo 旨在最大限度地提高推理性能,在 NVIDIA B200 GPU 上可实现两倍的性能提升,并加快这些模型的生产部署。
-
torch.compile 详解:Dynamo、AOT Autograd 和 Inductor
本笔记深入探讨了 torch.compile 的复杂性,借鉴了 IBM Technology 的见解。它详细介绍了 Dynamo 如何追踪 Python 代码以捕获 FX 图并记录 guards,而 AOT Autograd 则准备图。然后,Inductor 融合算子并为 Triton/C++ 生成代码,强调在评估速度提升之前检查图中断和重新编译的重要性。
-
NVIDIA 详解 Dynamo 的经验证 Kubernetes 运行时
NVIDIA 发布了一份指南,指导开发者如何为 NVIDIA Dynamo 构建经过验证的 Kubernetes 运行时。该运行时旨在优化 Kubernetes 环境中 AI 模型的性能。
-
NVIDIA Dynamo 自动化 LLM 推理的 GPU 资源规划
NVIDIA 推出了 Dynamo 平台,旨在优化大型语言模型 (LLM) 推理的 GPU 资源规划。该系统可在 Kubernetes 集群上自动化 GPU 工作负载扩展,以满足延迟和吞吐量的服务水平协议 (SLA) 目标。Dynamo 的 SLA Planner 分析工作负载特性和性能要求,动态调整资源以防止过度配置并确保高效的计算利用率。部署涉及使用 NVIDIA GPU Operator 设置 Kubernetes,集成 Pro…
-
Nvidia 与 Mistral AI 合作,推进 AI 推理框架
Nvidia 正与 Mistral AI 合作,利用 AI 增强工业设计流程,特别关注物理信息 AI 模型。同时,Nvidia 还通过 NVIDIA Dynamo 推进其推理框架,NVIDIA Dynamo 是一个开源解决方案,旨在跨多 GPU 环境对大型 AI 模型进行分离式服务。这种分离式架构将提示处理和 token 生成分开,可以显著提高具有长上下文的大型模型的吞吐量,在使用 RDMA 时,与聚合式服务相比,吞吐量最高可提高 1.7 倍。
-
NVIDIA Dynamo 通过智能 KV 缓存路由增强 AI 推理
NVIDIA Dynamo 是一个开源推理框架,它引入了一项智能路由功能,旨在优化大型生成式 AI 和推理模型的部署。该 KV 路由器能够智能地将推理请求导向最能利用现有 KV 缓存的工作节点,从而减少冗余计算。与传统的负载均衡方法相比,该系统旨在将首次令牌生成时间缩短高达 40%,并将整体吞吐量提高 25-30%。
-
新的 GPU 分词器 GraphTok 大幅降低 LLM 服务延迟
研究人员开发了 GraphTok,这是一种新颖的基于 GPU 的分词器,旨在加速 Agentic 大型语言模型 (LLM) 的服务。该系统将可能成为长上下文和频繁更新上下文瓶颈的分词过程从 CPU 卸载到 GPU。GraphTok 实现了显著的加速,在 3.2 毫秒内编码一百万个 token,其性能比现有的基于 CPU 的分词器高出数倍。这种优化提高了 LLM 的服务能力,使单个前端能够以更低的延迟维持更高的流量负载。
-
LLM 服务拆分为两个阶段,GPU 通量加倍
现代 LLM 服务架构正通过将过程拆分为两个不同的阶段来更有效地处理请求:预填充(prefill)和解码(decode)。预填充阶段处理整个提示,是计算密集型的,受益于高 GPU 利用率。解码阶段负责逐个生成 token,是内存带宽密集型的,需要高效的 KV 缓存管理。PagedAttention、连续批处理(continuous batching)和分块预填充(chunked prefill)等创新对于优化这些阶段至关重要,而分离式…
-
Prime Intellect 推出 Prime Inference 开源模型推理平台
Prime Intellect 推出了 Prime Inference,一个专为前沿开源 AI 模型设计的新型推理平台。该平台利用 NVIDIA Blackwell GPU,提供用于应对可变需求的无服务器端点和用于持续工作负载的预留容量。Prime Inference 旨在通过结合 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer 等技术来优化性能,并支持与 OpenAI 兼容的 API。
-
Kubernetes LLM 服务:拥挤的领域与关键的差距已识别
在 Kubernetes 上部署大型语言模型的服务领域正在迅速发展,许多曾经开放的挑战现在已被资金雄厚的项目和标准所解决。KV 缓存感知路由、预填充/解码分离、分数 GPU 共享和基本 GPU 调度原语等领域正变得拥挤。然而,仍然存在显著的差距,特别是在将模型权重分发视为一等 Kubernetes 原语方面,这目前会导致漫长的冷启动时间。
-
NVIDIA 的 Shadow Engine Recovery 将 LLM 停机时间缩短至几秒钟
NVIDIA 推出了 Shadow Engine Recovery 功能,旨在大幅缩短大型语言模型 (LLM) 推理的停机时间。这项新功能允许备用引擎接管,耗时约 7.3 秒,相比冷重启通常需要的 283 秒有了显著改进。通过在相同的 GPU 上维护一个就绪引擎,并利用 NVIDIA Dynamo 的 GPU Memory Service 共享权重,该功能旨在几乎消除服务中断。
-
EAServe 采用新的编码感知架构优化多模态大语言模型服务
研究人员开发了 EAServe,一个旨在优化多模态大语言模型 (MLLM) 服务的新系统。与现有框架在 MLLM 的三阶段编码-预填充-解码 (EPD) 管道中遇到的困难不同,EAServe 将编码阶段重新定位为管道的控制点。这种方法允许自适应微批处理、动态 GPU 分区以及对共驻预填充工作程序的速率控制卸载。评估表明,EAServe 在吞吐量和 GPU 利用率方面显著优于 NVIDIA Dynamo 和 vLLM。
-
Pinterest 发布由 AI 驱动的房间重新设计工具“Restyle”
Pinterest 正在推出一项名为 Restyle 的新 AI 功能,目前在美国和加拿大的用户中进行 Beta 测试。该工具允许用户上传房间照片,尝试不同的家具、装饰和油漆颜色,甚至可以可视化不同风格的空间。该功能旨在弥合灵感与购买之间的差距,使用户能够看到商品在自己家中的样子,从而可能从保存的图钉中带来更多销售。