H100s
PulseAugur coverage of H100s — every cluster mentioning H100s across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
Gemma LLM因其本地部署经济性和开发者体验而受到赞誉
作者强调了使用像Google的Gemma这样小型、可本地部署的大语言模型（LLM）所带来的实际经济优势，尤其对非洲等地区的开发者而言。文章指出，对于许多初创公司和精简团队来说，云基础设施的成本是一个重大障碍，使得高效的自托管模型比基准性能的边际改进更有价值。文章还详细介绍了将Gemma集成到Go API中的简单方法，展示了如何将LLM视为标准工程组件来简化AI的采用。
-
OpenAI 发布定制芯片，DeepSeek 提升 LLM 速度，本地模型性能下降
OpenAI 与 Broadcom 合作开发了代号为 Jalapeño 的定制推理芯片，专为高效运行 LLM 而设计。此举旨在减少对 NVIDIA 的依赖，并可能降低 API 成本，计划于 2026 年大规模部署。同时，DeepSeek 发布了 DSpark，一个开源的推测解码框架，可在不影响质量的情况下显著提高其 V4 模型的推理速度，解决了用户体验问题。此外，还观察到一种现象，即由于上下文窗口饱和和热节流等因素，本地 LLM 在长…
-
Cursor AI 发布自研模型（基于 100 万 H100 训练），推出 Origin 平台
代码编辑器 Cursor 的开发者宣布了他们自研的 AI 模型，该模型基于一百万个 H100 GPU 训练而成。他们还推出了一个名为 Origin 的新平台，旨在同时管理数千个 AI 代理。此举将 Cursor 定位为大型 AI 公司的竞争对手。
-
Groq 的定制 LPU 芯片提供 10 倍内存带宽，实现更快的 LLM 推理
Groq 开发了一种新颖的语言处理单元 (LPU)，在大型语言模型 (LLM) 推理方面性能远超传统 GPU。与为图形设计并重新用于 AI 训练的 GPU 不同，Groq 的 LPU 是专门为满足 LLM 推理的需求而构建的。其关键创新在于使用片上 SRAM 存储模型权重，与 GPU 使用的高带宽内存 (HBM) 相比，提供了显著更高的内存带宽和更低的延迟。这种架构差异使得 Groq 的 LPU 能够以前所未有的速度从大型模型中提供响…
-
俄亥俄州立大学研究人员开源 QUEST-35B Deep Research 代理
俄亥俄州立大学的研究人员开发并开源了 QUEST-35B，这是一个 Deep Research 代理。该代理使用了大约 32 个 H100 GPU 和约 8,000 个合成样本的数据集进行训练。基准测试结果表明，QUEST-35B 在多个领先的 Deep Research 系统中表现具有竞争力，引发了关于开源系统与前沿封闭系统之间剩余差距的讨论。
-
AI GPU短缺受到质疑，发现存在显著的利用不足
对 AI 工作负载中 GPU 利用率的最新分析表明，像 NVIDIA 的 H100s 和 Blackwell B200s 这样的高端 GPU 的感知短缺可能因利用不足而加剧。所讨论的 GPU 花费了大量时间处于空闲状态，等待数据，而不是主动处理。这一观察结果引发了对 AI 开发中 GPU 瓶颈的真实性质的质疑，暗示数据管道效率低下可能是重要的促成因素。
-
Together Compute 扩展 GPU 产品线，新增 H100、H200 和 B200
Together 是一家推理和开源人工智能公司，已显著扩展其按需计算平台。该公司宣布在其基础设施中增加了大量的 H100、H200 以及更新的 B200 等高端 GPU。
-
前缀缓存将 LLM 预填充成本削减 80%
一篇新的技术文章探讨了前缀缓存作为一种显著降低大型语言模型处理长提示计算成本的方法。该技术对于检索增强生成 (RAG) 和多轮对话等工作负载尤其有效，在这些工作负载中，大部分输入 token 在请求之间保持一致。通过重用先前为这些共享前缀计算的注意力状态，模型可以大幅缩短预填充时间，潜在成本节省高达 80%。文章详细介绍了 vLLM 和 SGLang 等不同的服务框架如何实现此优化，并讨论了驱逐策略对其现实有效性的影响。
-
新工具DODOCO揭示MoE模型调度基准测试中的缺陷
一项新的研究论文介绍DODOCO，一个旨在诊断混合专家（MoE）模型调度操作中开销的工具。研究发现，关于基准测试中工作负载表示的常见假设以及系统层对路由不平衡的可纠正性是存在缺陷的。研究强调，模型架构，而非专家并行度，是决定性能区间的首要因素。