NVIDIA H100
PulseAugur coverage of NVIDIA H100 — every cluster mentioning NVIDIA H100 across labs, papers, and developer communities, ranked by signal.
- instance of graphics processing unit 95%
- used by Gemma 4 90%
- instance of Nvidia RTX Pro 6000 Blackwell Workstation Edition 90%
- competes with MI300X 80%
- used by graphics processing unit 75%
- competes with H.1000 Gnome 70%
- used by SemiAnalysis 70%
- instance of L40S 70%
- used by RunPod 70%
- instance of L4 70%
- instance of RTX 5090 70%
- used by L4 70%
25 天有情绪数据
-
Google 发布 DiffusionGemma,文本生成速度提升 4 倍
Google 发布了 DiffusionGemma,这是一个实验性的开源模型,旨在显著提高文本生成速度。与逐个 token 生成文本的传统自回归模型不同,DiffusionGemma 可以同时生成整个文本块,在专用 GPU 上速度最高可达原来的四倍。虽然这种方法在绝对输出质量上不如标准的 Gemma 4 模型,但它非常适合交互式本地工作流程,例如行内编辑和快速迭代。
-
人工智能挑战传统学习方法,GPU需求激增
尽管人们担心人工智能对阅读和学习的影响,但对GPU的需求依然强劲。一位教授发现,他经济学课上的大多数学生在考试中严重依赖ChatGPT,当取消AI辅助后,分数显著下降。这凸显了一个更广泛的趋势:学生可能优先考虑成绩而非真正理解,尤其是在学位日益成为就业市场信号的情况下。虽然Fable和GPT 5.6等AI模型可以协助研究,但真正的掌握仍需要深入接触原始材料和批判性思维。
-
Etched融资8亿美元用于专用Transformer芯片,挑战英伟达
人工智能芯片初创公司Etched宣布累计融资8亿美元,公司估值50亿美元,并获得10亿美元芯片订单。Etched由哈佛辍学生于2022年创立,正在开发专为运行Transformer架构设计的专用芯片,旨在显著提高效率并降低成本,优于通用GPU。其首款芯片Sohu采用台积电4nm工艺制造,已成功完成Tape-out,据报道,在Llama 70B推理方面,与英伟达的H100相比,其吞吐量提高了20倍,每美元性能提高了140倍,且无需开发人员重写代码。
-
用户寻求对大型细胞分类数据集进行高效超参数调优
r/MachineLearning 上的一位用户正在寻求关于如何对包含 430 万个细胞和 512 个特征的大型数据集进行高效超参数调优的建议。该数据集不平衡,用户希望实现上下文老虎机来增强训练,但即使进行了子采样,标准的超参数调优方法也过于耗时。他们正在探索 Optuna 的替代方案,并寻找相关文献或类似经验来解决这一瓶颈。
-
英伟达推出可收藏的GPU交易卡,以应对高昂的硬件成本
英伟达发布了一套交易卡,其中包含他们一些最具标志性的GPU,包括GeForce RTX 4090和H100 AI加速器。这些卡牌不发售,而是作为收藏品供爱好者收藏。此举正值AI硬件成本高昂,许多人难以负担之际。
-
英伟达股价下跌,因人工智能计算价格下降,内存芯片飙升
尽管收入预测不断增长,英伟达的股价却大幅下跌,因为投资者焦点转向了美光等人工智能内存芯片制造商。虽然英伟达的CUDA平台和GPU开发对人工智能的繁荣起到了重要作用,但GPU短缺的缓解以及主要科技公司定制处理器的兴起导致GPU计算价格下降。相反,对高带宽内存(HBM)芯片的需求激增,导致其价格上涨了十倍,使内存公司成为人工智能基础设施市场的新瓶颈和热门投资。
-
元力觉醒发布 DM0.5 具身智能模型,训练数据达 15 万小时
元力觉醒(Force Field Intelligence)发布了其新一代具身智能基础模型 DM0.5,该模型接受了 15 万小时数据的训练。DM0.5 旨在通过整合真实世界场景和开发者平台来解决具身智能领域的数据瓶颈问题。该模型拥有更大的参数规模、更多的数据量以及上下文抽象层和具身思维链任务等架构创新,在 Zero-Shot 泛化能力和微调效率方面取得了显著提升。
-
Google 发布 Gemma 2 开源大语言模型系列,采用注重效率的架构
Google 发布了 Gemma 2,这是其开源大语言模型系列的更新版本,提供 9B 和 27B 参数规模。这些模型采用了重要的架构变更,包括混合注意力机制和分组查询注意力 (GQA),旨在提高推理效率并降低计算成本。Gemma 2 模型设计用于在 NVIDIA H100 GPU 或 Google TPU 等硬件上高效运行,使其对开发者和研究人员进行微调和部署更具可访问性。
-
RunPod 限时优惠 H100 和 RTX 6000 Pro GPU
RunPod 增加了其GPU容量,并限时提供NVIDIA H100 SXM和RTX PRO 6000实例的折扣价格。H100 SXM现价为每小时 $2.99,低于原价 $3.29;RTX PRO 6000现价为每小时 $1.99,低于原价 $2.09。
-
分析表明,10倍AI算力削减可能使AGI慢6倍
一篇LessWrong帖子探讨了AI算力资源减少十倍对实现通用人工智能(AGI)时间线的影响。作者分析了不同的模型,例如AI Futures Model、Tom Davidson的FTM和Epoch AI的GATE,将如何预测这种减速。分析表明,在大多数情况下,算力减少10倍可能会使AGI发展速度减慢约6倍,可能范围在3.5倍到8倍之间。
-
用户体验到使用集成 GPU 进行 Stable Diffusion 的速度大幅提升
一位 Reddit 用户分享了他在 Fedora Linux 系统上从仅使用 CPU 进行推理切换到使用集成 GPU (iGPU) 进行 Stable Diffusion 的体验。他们观察到速度有了显著提升,iGPU 大约在 4 分 27 秒内完成了任务,而 CPU 则需要超过 10 分钟。这种性能差异让用户更好地理解了 GPU 在 AI 任务中的价值和需求。
-
Lucie 7B LLM训练环境影响评估
一项新的生命周期评估(LCA)详细介绍了在Jean Zay超级计算机上训练Lucie 7B开源大语言模型的环境影响。该研究涵盖了制造排放、运行能源、水消耗和硬件基础设施,报告称Lucie 7B的总训练足迹为21 tCO2eq。Jean Zay H100分区的年足迹为417.5 tCO2eq,有效强度为每GPU小时36.7 gCO2eq。该研究还强调了水消耗和余热回收工作,有助于理解节约型AI系统。
-
Jet-Long 方法在无需重新训练的情况下提升了 LLM 的长上下文性能
研究人员推出了一种名为 Jet-Long 的新方法,可以在无需重新训练的情况下扩展大型语言模型的上下文窗口。这种无需微调、零样本的方法可以动态调整重缩放因子,以平衡短上下文的保真度和长上下文的外插性。Jet-Long 集成了包含-排除注意力合并和即时 RoPE 校正,从而在 NVIDIA H100 等硬件上实现了最小的推理开销和更高的吞吐量。
-
新的ELO算法增强了学优化器在长视野任务上的性能
研究人员开发了一种名为ELO(Efficient Long-hOrizon)的新元训练算法,以改进学优化器(LOs)。ELO解决了元训练扩展到长视野问题以及与Adam和Muon等成熟优化器竞争的挑战。该算法将计算重新分配到更长的失败模式,并使用渐进式专家监督来获得稳定的学习信号。实证研究表明,ELO在下游语言建模和图像分类任务上显著增强了LO的性能,其中ELO-Celo2在语言建模上持续优于AdamW,并与Muon保持竞争力,同时元训…
-
NVIDIA 发布 Nemotron-Labs-3-Puzzle-75B 以支持 Blackwell 硬件
NVIDIA 发布了其 Nemotron-Labs-3-Puzzle-75B 模型,该模型已针对 Blackwell 硬件上的服务进行了优化。该模型集成了 LatentMoE、Mamba-Interleaving 和 Multi-Token Prediction (MTP) 以提高吞吐量。它在 OpenMDW-1.1 许可下可用,允许商业使用。
-
117M Silia 模型在 H100 上 5 小时内训练完成
一个拥有 1.17 亿参数的 Silia 模型仅用 5 小时就在 H100 GPU 上训练完成,使用了 synth-100M 数据集。该模型的架构在研究论文中有详细介绍,包括多头注意力和旋转位置嵌入。尽管训练速度很快,但由于数据集大小和学习率有限,该模型被认为训练不足,尽管一个参数量为 1150 万的较小 Silia 模型在验证损失方面表现与 nanoGPT 相当。
-
新内核通过融合 SwiGLU 激活来提高大语言模型推理速度
研究人员开发了新的技术,通过在瓦片级别将 SwiGLU 激活函数直接融合到 GEMM 操作中,来加速大语言模型 (LLM) 的推理。这些方法使用为 NVIDIA H100 GPU 定制的 CUTLASS 内核实现,显著减少了中间张量物化的相关开销。在 Qwen 2.5 模型上的评估显示,与标准的 PyTorch 实现相比,速度提升高达 2.47 倍,实现了更高的峰值 BF16 利用率,并展示了优于 cuBLAS 等现有库的数值性能。
-
NVIDIA压缩Nemotron-3大语言模型,吞吐量提升2倍,100万token并发提升8倍
NVIDIA研究人员开发了Nemotron-Labs-3-Puzzle-75B-A9B,这是其Nemotron-3-Super大语言模型的压缩版本。该新变体显著提高了部署效率,在8xB200节点上实现了高达2倍的服务器吞吐量,并在单个H100 GPU上实现了高达8个并发100万token请求。通过结合迭代式Puzzle压缩、知识蒸馏和量化等技术的阶段性流水线实现了压缩,同时在很大程度上保留了模型在下游任务中的准确性。
-
Anthropic计划投资150亿美元建设澳大利亚数据中心,营收激增
Anthropic正计划通过一项150亿美元的数据中心项目,大幅扩展在澳大利亚的业务,目标是 확보1.4吉瓦的计算资源。这一举措得益于其年化收入在15个月内实现了惊人的45倍增长,达到470亿美元,这主要得益于企业对其Claude产品的广泛采用。选择澳大利亚是出于战略考虑,该国拥有丰富的可再生能源、地缘政治上的契合以及与美欧相比更宽松的监管环境。然而,该项目可能因其在水资源匮乏地区的大量用水而面临审查。
-
新的LRF网关优化LLM调度和资源分配
研究人员开发了一种名为语言资源预测(LRF)的新方法,以提高分布式大型语言模型(LLM)调度程序的效率。该方法使用CPU端网关分析文本结构并预测工作负载需求,从而优化资源分配。LRF网关将请求路由到本地的Qwen2.5-7B模型或更强大的远程NVIDIA H100 GPU上的集成模型,从而防止边缘设备上的内存过载和崩溃。现场试验表明,操作性错误路由显着减少,并且即使网络延迟有很大差异,峰值边缘VRAM使用量也保持在限制范围内。