Blackwell GPUs
PulseAugur coverage of Blackwell GPUs — every cluster mentioning Blackwell GPUs across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
Blackwell GPUs detected in advanced Chinese AI models despite export bans
Recent research indicates that leading Chinese AI models, including those from DeepSeek and Moonshot AI, appear to have been trained on Nvidia's Blackwell GPUs, which are subject to U.S. export restrictions. This suggests that current export controls may be circumvented, possibly through offshore access or other channels, highlighting a significant challenge in maintaining a technological lead.
Potential geopolitical pressure on Nvidia's China strategy could impact Blackwell GPU availability
Commentary suggests U.S. intelligence community pressure on Nvidia's leadership could lead to a more restrictive stance on AI collaboration with China. If this translates into tighter controls or reduced support for Blackwell GPU deployments in China, it could disrupt the supply chain for Chinese AI developers and impact the global AI landscape, particularly concerning open-source initiatives.
Nvidia's Blackwell GPU performance gains for MoE models to drive new inference optimizations
The recent development of NVLinkOneSided, which shows significant speedups for Mixture-of-Experts (MoE) models on Blackwell GPUs, suggests that further specialized optimizations for MoE architectures on this hardware are likely. We hypothesize that Nvidia or third-party developers will release additional techniques to leverage Blackwell's capabilities for MoE inference, potentially leading to more efficient and powerful AI deployments.
-
中国AI公司据称使用受限的Nvidia Blackwell GPU
法证分析表明,中国AI公司DeepSeek、Moonshot AI、Minimax和Ant Group已获得并正在使用NVIDIA的Blackwell GPU。之所以值得关注,是因为这些先进GPU受到对华出口限制。调查结果表明,这些公司可能正在规避这些限制,以利用最先进的硬件进行AI开发。
-
英伟达黄仁勋离职与美国情报推动有关,开源面临威胁
一位评论员认为,美国情报界正推动黄仁勋离开英伟达,这可能会对开源AI生态系统产生负面影响。作者声称英伟达与中国AI实验室合作,为它们提供Blackwell GPU和优化支持。他们认为,这种关系对依赖中国AI模型的美国开源社区和初创公司至关重要,而黄仁勋的离职以及日益强硬的态度威胁着这种动态。
-
中国顶级AI模型中使用被禁止出口到中国的英伟达芯片 · 追踪到1个来源
一项新的研究工作声称,中国最先进的AI模型使用了被禁止出口到该国的英伟达芯片进行训练。该研究表明,包括DeepSeek和Moonshot AI在内的模型,带有英伟达Blackwell GPU的数字指纹。这一发现引发了对美国旨在保持技术优势的出口管制有效性的担忧,因为这些芯片可能通过离岸数据中心或其他途径获得。
-
新的NVLink技术加速混合专家AI推理
研究人员开发了一种名为NVLinkOneSided的新方法,用于加速NVLink上的混合专家(MoE)模型的推理。该方法通过允许GPU之间直接推送Token来优化专家并行全互联通信,绕过元数据交换并降低延迟,尤其适用于小批量大小。在Blackwell GPU上的基准测试显示,NVLinkOneSided相比DeepEP等现有方法实现了1.2-3.0倍的加速,使MoE层速度提升高达2.4倍,在解码任务中具有竞争力。
-
新的 NVLinkOneSided 协议加速 GPU 上的 MoE 推理
研究人员开发了 NVLinkOneSided,这是一种新颖的单边专家并行全互连通信协议,专为单个 NVLink 域内的 GPU 上的专家混合 (MoE) 推理而设计。该方法允许 GPU 将 token 直接推送到目标缓冲区,绕过元数据交换并提高效率,尤其是在小批量大小的情况下。在 Blackwell GPU 上进行基准测试,与 DeepEP 相比,NVLinkOneSided 在调度和组合操作方面速度提高了 1.2-3.0 倍,MoE…
-
NVIDIA Nemotron 3.5 Super VL 模型现已在 Amazon SageMaker JumpStart 上可用
NVIDIA 的 Nemotron 3.5 Super VL 是一款多模态视觉语言模型,现已通过 Amazon SageMaker JumpStart 提供。该模型可以处理图像、视频和文本以生成文本输出,支持长达 100 万个 token 的上下文长度。它专为文档智能、代理的 GUI 理解和视频问答等应用而设计,提供两个版本可供部署。
-
BiLoCo方法通过二进制低秩校正削减LLM内存使用
研究人员开发了BiLoCo,一种新颖的训练后量化(PTQ)方法,可在保持准确性的同时显著减小大型语言模型(LLMs)的内存占用。该技术将低秩校正因子存储为二进制符号向量,与SVDQuant等先前方法相比,每个秩的存储量减少了16倍。BiLoCo可以在Blackwell GPU上与主FP4 GEMM操作并行在CUDA核心上处理,从而最大限度地减少性能开销。
-
SweepANN 通过 GPU 驱动的向量搜索加速药物发现
研究人员开发了 SweepANN,一个专为大型 K 近似向量搜索设计的新型 GPU 加速系统,特别适用于药物发现应用。该系统将压缩向量分区到多个 GPU 上,以高效处理海量数据集,在速度和内存使用方面优于现有方法。SweepANN 实现了高召回率,这对于识别潜在的药物候选物至关重要,并显著减少了与传统方法相比的处理时间。
-
Mistral AI发布拥有1万亿参数、多模态能力的Mistral Large 4
Mistral AI宣布推出Mistral Large 4,这是一款新的多模态模型,拥有1万亿参数,其中490亿参数处于活跃状态。该模型在欧洲使用3800块Blackwell GPU进行训练。Mistral Large 4的API预览现已通过Mistral Studio提供,模型权重预计将于本月晚些时候发布。
-
泄露的 DLSS 5 在 Control 中运行,显示 RTX 5070 Ti 性能下降
Nvidia 即将推出的 DLSS 5 神经渲染技术的泄露版本已被 modder 成功集成到游戏 Control 中。据报道,此早期实现需要 Blackwell GPU,在 RTX 5070 Ti 上显示出显著的性能下降,在 4K 下将帧率从 71 降低到 35 FPS。虽然 modder 的工作让我们得以一窥 DLSS 5 的功能,包括增强的照明和阴影,但其性能影响和硬件要求尚未代表最终产品,该产品定于今年秋季发布。
-
Anyscale Ray 优化 NVIDIA GB300 NVL72 的 NVLink 域放置
Anyscale 为其 Ray 框架引入了 NVLink 域感知放置组,旨在优化 NVIDIA GB300 NVL72 系统的性能。这些新的放置组确保紧密耦合的 actor 被调度在同一个 NVLink 域内,NVLink 域是一个连接 72 个 NVIDIA Blackwell GPU 和 36 个 NVIDIA Grace CPU 的机架级互连。这种拓扑感知调度原语旨在最大化 GPU 通信并保留系统意图,它建立在先前节点级放置策略的基础上。
-
大语言模型部署:为效率优先考虑显存而非 GPU 规格
在部署大语言模型时,优先考虑显存需求而非特定 GPU 型号,对于高效的基础设施规划至关重要。开发者应首先根据模型权重、KV 缓存、框架开销和生产预留量等因素确定所需的显存,而不是仅仅关注参数数量。理解精度和量化技术,如 4 位量化,可以显著降低显存需求,而忽视 KV 缓存可能导致生产环境中出现内存不足的错误。即使是专家混合(Mixture-of-Experts)模型也需要仔细规划显存,因为所有模型权重都必须加载。
-
AMD 以新的 Helios AI 系统和 GPU 挑战 Nvidia · 跟踪 4 个来源
AMD 正通过其新的 Helios 机架级系统(配备 72 个 Instinct MI455X GPU 和下一代 EPYC 处理器)挑战 Nvidia 在人工智能计算领域的统治地位。该集成解决方案旨在提供一个完整、即插即用的数据中心构建块,与 Nvidia 的组件式方法形成对比。AMD 的公告还包括新的 GPU 变体和软件增强功能,以支持其生态系统,将其定位为人工智能基础设施的可靠替代品。
-
Apache TVM 推出 TIRx 编译器,用于演进的 ML 内核和硬件
Apache TVM 推出了 TIRx,这是一个开源编译器堆栈,专为机器学习内核和不断发展的硬件而设计。这个新系统支持硬件原生 DSL,并可编译到 GPU 和专用 AI 加速器,同时注重适应未来硬件代际的灵活性。TIRx 旨在为程序员和机器之间提供一个灵活的边界,使专家能够控制底层操作,同时也支持常用任务的可重用块基元。
-
新的推测解码方法提高了 LLM 推理速度和安全性
研究人员正在开发先进的推测解码技术,以加速大型语言模型推理。HyperDFlash 针对 DeepSeek-V4 的多超连接架构优化了解码,提高了草稿的准确性和速度。Dustin 通过识别关键标记并减少重新计算来专注于高效的长上下文生成。同时,TAIS 对推测解码的输出进行安全性不变性筛选,发现在温度为零时没有分歧。JetSpec 和 RLM-Cascade 通过结合草稿策略并在响应级别应用推测解码来实现高性价比的 API 服务,提供…
-
Unsloth 更新 AI 库,支持 CUDA 13.3、Mac 和 Windows
Unsloth 发布了其 AI 优化库的更新,包括对 Windows 上的 CUDA 13.3 支持以及对 Apple Silicon Mac 的兼容性改进。新版本解决了 CUDA 13.2 的问题,并为各种 macOS 和 Windows 配置提供了预编译二进制文件。更新还包括对 Unsloth Studio 的增强,例如公开 parallel 标志并添加了前端国际化支持。
-
Together AI发布FlashAttention-3和-4,加速大语言模型处理
Together AI发布了FlashAttention-3和FlashAttention-4,这是其用于大语言模型的GPU加速注意力机制的重大升级。FlashAttention-3专为Hopper GPU设计,通过利用张量核心(Tensor Cores)和张量内存加速器(Tensor Memory Accelerator)等新硬件特性并支持FP8精度,实现了高达75%的利用率和比前代产品快1.5-2倍的速度。FlashAttenti…
-
ThriftAttention 通过择优混合精度注意力机制提升AI效率
研究人员开发了ThriftAttention,一种用于提高AI模型长上下文注意力机制效率的新颖方法。该技术选择性地将更高精度(FP16)应用于一小部分关键的查询-键交互,而其余部分则以较低精度(FP4)进行处理。这种择优方法旨在以FP4推理速度维持接近FP16的质量,从而缓解在长上下文设置中低精度常带来的显著质量下降。该方法已证明其能够恢复FP4和FP16注意力之间性能差距的很大一部分,并且随着序列长度的增长,收益也随之增加。
-
LongLive-2.0基础设施加速长视频生成训练和推理
研究人员开发了 LongLive-2.0,这是一个并行基础设施,旨在优化长视频生成模型的训练和推理。该系统利用 NVFP4 精度和序列并行自回归训练来减少内存需求并加速计算。对于推理,LongLive-2.0 采用 W4A4 NVFP4 推理和异步流式 VAE 解码等技术来实现高吞吐量,在训练中展示了高达 2.15 倍的加速,在推理中展示了 1.84 倍的加速。
-
英伟达 RTX Mega Geometry 通过减少 VRAM 提升路径追踪性能
英伟达开发了 RTX Mega Geometry,一项旨在通过减少 VRAM 消耗和消除视觉伪影来增强路径追踪渲染的新技术。这项创新解决了现有 API(如微软的 DXR)在处理现代游戏高几何复杂度时遇到的限制。通过引入 GPU 驱动的 Cluster Acceleration Structure (CLAS),RTX Mega Geometry 大幅加快了 BVH 重建速度并降低了 CPU 开销,从而能够在不牺牲性能的情况下实现全保真几何追踪。