NVIDIA B300
PulseAugur coverage of NVIDIA B300 — every cluster mentioning NVIDIA B300 across labs, papers, and developer communities, ranked by signal.
-
Kimi K3大模型自托管成本为89.52美元/小时，提供100万上下文
Moonshot AI开发的大语言模型Kimi K3，在其自身运行环境中提供了性能报告。该模型运行在八个NVIDIA B300 SXM6 GPU上，总计拥有2.2 TB的VRAM，其上下文窗口超过100万个token。虽然为单个用户提供了近乎即时的响应时间和快速的长上下文预填充速度，但自托管这一前沿模型的成本相当可观，估计每小时为89.52美元，这使得其每个token的成本远高于高级API提供商。
-
Together AI 与 IBM 和 NVIDIA 合作，为企业级 AI 推理提供支持
Together AI 宣布与 IBM 和 NVIDIA 建立多年合作伙伴关系，以增强 IBM Cloud 上的 AI 推理能力。此次合作将利用专用的 NVIDIA B300 GPU 集群和 Spectrum-X 网络，并与 Together AI 的生产就绪推理平台集成。该计划旨在提供企业级 AI 推理，标志着扩展开源 AI 的重要一步。
-
在 NVIDIA B300 上对 Qwen3-32B 进行微调的新研究
一篇新论文详细介绍了在 NVIDIA B300 加速器上微调 Qwen3-32B 模型时遇到的操作挑战和解决方案。该研究侧重于多节点训练的实际方面，深入探讨了基于功耗的分类、网络文件系统争用等性能瓶颈，以及检测和防止 NCCL 死锁的策略。研究结果强调了实际操作最佳实践而非算法新颖性，并指出监控功耗和验证运行前不变量对于大规模数据并行作业至关重要。
-
AMD MI355X GPU 为 Kimi K3 模型提供更优的每美元性能
来自 Wafer.ai 的一篇博文详细介绍了他们如何在 AMD 的 MI355X GPU 上运行 Kimi K3 模型，从而实现了更优的每美元性能。尽管 Kimi K3 拥有 2.8T 的巨大参数量，需要大量的 VRAM，但 MI355X 凭借其每个 GPU 288GB 的 VRAM，证明了其作为 NVIDIA B300 和 B200 GPU 的经济高效替代方案。虽然 NVIDIA 的硬件提供了更高的总吞吐量，但 MI355X 提供了…
-
Thinking Machines 发布 Inkling-Small，性能超越更大模型
Thinking Machines Lab 推出了 Inkling-Small，这是一款新的开源多模态模型，它优先考虑效率而非单纯的规模。尽管比其前身 Inkling 体积小得多，Inkling-Small 在各种编码和推理基准测试中表现出卓越的性能。该模型设计用于更轻松的部署，能够在一台 GPU 上运行，并根据 Apache 2.0 许可证提供。
-
Thinking Machines 发布 Inkling，一款高效的多模态 MoE 模型
Thinking Machines 发布了 Inkling，这是一款新的开源、多模态混合专家（MoE）模型，拥有 9750 亿总参数和 410 亿活跃参数。该模型支持 100 万 token 的上下文窗口，并具有可控思考能力，允许用户调整推理成本。Inkling 旨在通过为企业用例提供效率和灵活性来与 Anthropic 和 OpenAI 等成熟的参与者竞争。
-
TurboServe系统优化流式视频生成服务
研究人员开发了TurboServe，一个专门为流式视频生成设计的新型服务系统。该系统通过集成调度、自动扩缩容和迁移机制，解决了会话状态管理和动态资源分配等挑战。TurboServe旨在降低流式视频生成工作负载的延迟和运营成本，并在生产跟踪评估中显示出显著的改进。
-
Together AI 为推理增加了数千块 NVIDIA B200/B300 芯片
Together AI 已显著扩展其云计算资源，增加了数千块新芯片，包括 NVIDIA 的 B200 和 B300 加速器。此举旨在加强其专用模型推理服务，为人工智能模型的部署和运行提供增强的功能。