Nvidia B200
PulseAugur coverage of Nvidia B200 — every cluster mentioning Nvidia B200 across labs, papers, and developer communities, ranked by signal.
- instance of graphics processing unit 90%
- instance of GB200 90%
- instance of Beechcraft King Air 350 90%
- used by NVFP4 90%
- competes with Readonflow Team 80%
- competes with atom 80%
- competes with graphics card model series 80%
- used by vLLM 70%
- used by CUDA 70%
- used by graphics processing unit 70%
- used by SGLang 70%
- used by GB200 70%
21 天有情绪数据
-
TensorLean 框架验证 GPU 内核,发现 38 个错误
哥伦比亚大学和 CertiK 的研究人员开发了 TensorLean,这是一个形式化验证框架,旨在确保 PTX 级别 GPU 内核的正确性。这个基于 Lean 的系统将编译后的内核与张量级数学规范进行分析,旨在检测数据竞争、终止失败和输出不正确等问题。在测试中,TensorLean 成功验证了 149 个内核实例中的 83 个,并在多个项目中发现了 38 个错误,包括 FlashAttention 套件中的重大问题。
-
PyTorch FSDP 与 DeepSpeed 在 LLM 训练内存优化方面的比较
本文比较了 PyTorch 的 FSDP 和 DeepSpeed 在大型语言模型(LLM)训练中的应用,重点关注内存优化技术。虽然 PyTorch FSDP 被推荐为默认选项,但当模型超出 GPU 内存容量时,DeepSpeed 的 ZeRO 阶段,特别是将优化器卸载到 CPU 或 NVMe,变得至关重要。作者提供了 80 亿和 700 亿参数模型的详细内存计算,表明只有 DeepSpeed 的优化器卸载才能让 700 亿参数模型在 …
-
用于大型语言模型的经济高效 GPU:显存容量胜过速度
运行和训练大型语言模型 (LLM) 的最佳 GPU 取决于具体任务和显存需求,而非原始速度。对于高达 70B 参数的 4 位精度模型服务或 QLoRA 微调等单用户任务,24 GB 或 48 GB 的显卡,例如 NVIDIA RTX A6000,通常是最具成本效益的选择。NVIDIA H100 或 B200 等高端 GPU 更适合全参数微调或分片训练等要求更高的任务,其更高的成本可以通过更快的完成时间来证明其合理性。
-
AI模型tufazip使用神经网络实现创纪录的无损文本压缩
Tufa Labs开发了一个名为tufazip的自学习AI Transformer模型,可以将一千兆字节的维基百科数据无损压缩至105.39MB。该模型独特地使用神经网络作为其唯一的预测器,这使其区别于在大型文本压缩基准测试中排名靠前的其他压缩器,那些压缩器将神经网络与传统方法相结合。然而,目前的实现需要大量的计算资源,大约需要一周时间和两块Nvidia B200 GPU才能完成压缩和解压缩。
-
Thinking Machines Lab 发布了具有 1M 上下文的 Inkling 2 Mini
Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个 264 亿参数的多模态 Looped Mixture-of-Experts 模型,专为在消费级硬件上本地部署而设计。该模型支持 100 万 token 的上下文窗口,并提供各种量化格式,包括用于 CPU 和 Apple Silicon 推理的 GGUF。部署说明强调了针对 NVIDIA Blackwell B200 GPU 的特定优化以及与 v…
-
Hugging Face适配器将Qwen3.8的编码成功率提升至65%
Hugging Face发布了一个新的LoRA适配器Qwen3.8-27B-pi-adapted,旨在增强Qwen3.8-27B模型的编码能力。该适配器使用强化学习进行训练,显著提高了在SWE-bench Pro等编码基准测试上的性能,将成功率从39%提升至65%。除了准确性提升外,该适配器还大大减少了任务所需的token数量和轮次,提高了编码代理的效率。
-
NarrowSpec技术通过减小草稿模型宽度来加速LLM解码
研究人员开发了一种名为NarrowSpec的技术,允许推测解码中的草稿模型以减小的隐藏宽度运行,而不会显著影响性能。该方法在Qwen3-8B和GPT OSS 20B等模型上使用SGLang在Nvidia B200和DGX Spark硬件上进行了测试,速度提升高达1.44倍。研究结果表明,草稿模型的残差流可以有效地以目标模型宽度的一半或四分之一运行,为推测解码提供了一种更有效的方法。
-
Sarvam推出集成了8个开源模型的印度托管推理平台
Sarvam 推出了 Sarvam Token Factory,这是一个托管在印度的推理平台,通过单一的 OpenAI 兼容 API 提供对八个开源模型(open-weight models)的访问。该服务利用 NVIDIA B200 集群,旨在通过将流量保留在国内来为印度开发者提供低延迟推理。Sarvam 报告称,与 InferenceX 等竞争对手相比,其性能有了显著提升,包括更快的首个 token 响应时间和更高的吞吐量,特别是…
-
研究人员在Nvidia B200上用4位前向传播训练GPT,速度更快
一位研究人员成功地在一块Nvidia B200 GPU上使用4位前向传播复现了生成式预训练变换器(GPT)模型的训练。该方法展示了更快的训练速度,大型模型显示出更显著的加速效果。至关重要的是,4位训练产生的模型学习效果与使用标准16位精度训练的模型相当,这通过可比的验证损失得到证明。
-
报告称中国AI模型可能使用受限的Nvidia GPU · 跟踪1个来源
一位前OpenAI研究员发布了一份报告,声称六款中国AI模型表现出使用受出口管制Nvidia Blackwell GPU的指纹。该方法通过分析由GPU上特定数量计算单元塑造的初始权重分布的统计回声。尽管地缘政治影响仍在辩论中,但这一发现将硬件出处作为开放权重AI模型尽职调查的关键因素,在基准分数和许可证之外增加了另一层审查。
-
LEGIT系统增强了Uber Eats生成式推荐解码
研究人员开发了LEGIT,一个用于生成式推荐器约束解码的新颖系统,特别适用于Uber Eats搜索引擎等应用。LEGIT解决了确保生成内容(如结果页面上的商店和商品列表)遵守资格和非重复等动态规则的挑战。该系统使用目录上的trie来维护标识符准确性,并为动态约束实现范围查找,通过将trie遍历卸载到CPU,实现了比直接GPU实现快65.9%的加速。
-
新编译器 Obaleth 提升 AI 工作负载的 GPU 网络速度
研究人员开发了 Obaleth,这是一种新颖的编译器,旨在优化机器学习工作负载的 GPU 启动网络。该编译器将通信集成到内核的中间表示中,从而可以与计算进行协同优化并生成专用传输代码。Obaleth 已展示出显著的性能改进,包括在 H100 GPU 上小消息速度提升 3.3 倍,以及在更大的 GPU 集群上比现有的 NVSHMEM 和 NCCL GIN 等库具有更快的 all-to-all 通信速度。当集成到 vLLM 中时,Obal…
-
FlashSampling 将精确采样集成到 LM 头中以加快令牌生成速度
研究人员开发了 FlashSampling,这是一种用于大词汇量语言模型的精确采样新方法,它将采样直接集成到语言模型头的矩阵乘法中。该方法避免在高速缓存存储器 (High Bandwidth Memory) 中具体化整个 logits 张量,而是在芯片上逐块计算 logits 并添加 Gumbel 噪声。FlashSampling 可将每个输出令牌的时间减少高达 10%,并通过将 GPU 到 GPU 通信与计算重叠来提高效率。
-
新研究探讨LLM推理优化、批处理和可复现性
多篇研究论文和项目正在探索优化大型语言模型(LLM)推理的高级技术,特别关注效率和可扩展性。一篇论文介绍了BatchGen,一种用于批推理的架构,它使用序列协程计算模型来处理可变工作负载并提高GPU利用率。另一项研究“沉默的超参数”(The Silent Hyperparameter)量化了vLLM、SGLang和llama.cpp等不同的推理后端如何显著影响LLM基准测试结果和可复现性。此外,还在研究用于NVIDIA Blackwe…
-
OpenAI 微调成本远超开源替代方案
微调 Llama 3.1 8B 等开源模型比使用 OpenAI 的微调服务便宜得多,对于 5000 万个训练 token,Llama 的成本约为 8 美元,而 OpenAI 的 gpt-4.1-mini 为 250 美元,gpt-4.1 为 1250 美元。OpenAI 还在逐步淘汰自助微调服务,限制了大多数团队的选择。虽然由于每小时的 GPU 费率,服务成本更为可比,但在达到一定月度 token 量后,开源模型的成本仍然更经济。与提…
-
CompoundingKernel 代理编写排名靠前的 GPU 内核,性能超越基线
一个名为 CompoundingKernel 的新型自我改进代理系统在 GPU 内核生成的 SOL-ExecBench 排行榜上取得了顶尖排名。该系统仅从 PyTorch 定义开始,生成的内核比基线参考快得多,并在 Nvidia B200 的多个基准测试中保持了第一名的位置。该系统利用一个 LLM 控制器来指导并行代理进行搜索过程,并通过外部存档存储正确的内核及其谱系以促进自我改进。
-
分析发现中国AI实验室使用受限的NVIDIA Blackwell GPU · 已追踪2个来源
对中国AI模型的法证分析显示,包括DeepSeek、Moonshot AI、MiniMax和Ant Group在内的几家领先开发商似乎在使用NVIDIA的Blackwell GPU。这些先进芯片受到美国对华出口限制的约束。研究发现,模型权重中的数字模式与Blackwell硬件匹配,表明自2026年4月以来发布的新模型训练中使用了这些芯片,这标志着它们从之前依赖NVIDIA的Hopper一代转向。虽然研究结果提供了获得受限硬件的技术证据…
-
Nodus 和 Fireworks AI:微调成本对比分析
Nodus 和 Fireworks AI 在模型微调方面提供了不同的方法。Fireworks AI 擅长对其托管的模型进行 LoRA 微调,按 token 收费,无需预配资源。而 Nodus 则被定位为一个更广泛的 AI 计算平台,提供较低的 GPU 小时费率,特别适用于全模型微调或 Fireworks AI 无服务器列表之外的模型。例如,Nodus 列出的 NVIDIA H100 GPU 小时费为 2.60 美元,远低于 Firew…
-
MiniMax的pi-H3视频模型实现2-4步生成,无需VAE解码器
MiniMax发布了pi-H3,一款新的视频生成模型,仅需2到4个采样步即可生成视频。该模型在最后一步直接预测像素,无需VAE解码器,从而显著提高了速度。在单块NVIDIA B200 GPU上,pi-H3可以在4秒内生成一个5秒的高清视频,速度比Sol-H3等先前模型快一倍以上。模型权重和代码定于11月16日发布,并计划提供额外的ComfyUI支持。
-
Revolut切换到Nvidia B200上的自托管GLM,降低成本并提高速度
Revolut已用在56个Nvidia B200 GPU上运行的自托管通用语言模型(GLM)取代了Claude Code和Codex的使用。这一新设置成本降低了十倍,每百万token成本为0.30美元,并通过取消复杂任务的AI配给,将提前期提高了70%。