H100 GPUs
PulseAugur coverage of H100 GPUs — every cluster mentioning H100 GPUs across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
LINE MAN Wongnai 将 AI 服务器成本削减 9 倍，应用速度提升 4 倍
LINE MAN Wongnai 已将其 AI 服务器成本显著降低了 9 倍，并将应用程序速度提高了 4 倍。这是通过其 MLOps 方法的战略性转变、优化资源利用率和采用更高效的硬件来实现的。该公司利用 Kubernetes 和 Docker 等技术，以及 AWS 等云服务来有效管理其基础设施。
-
AI模拟器STRATA实现了解决风暴的全球大气模拟
研究人员开发了STRATA，这是一种用于全球解决风暴的大气模拟的自回归AI模拟器。该模型采用了一种新颖的架构，包括3D块嵌入、局部3D邻域注意力和立体旋转位置嵌入，以4.9公里分辨率处理大气数据。与传统的物理模型相比，STRATA在能效和模拟速度方面取得了显著的改进，在512个H100 GPU上实现了每兆瓦时48个模拟日和每实际时钟日741个模拟日。
-
新方法通过投机解码提高 LLM 推理速度 · 跟踪 7 个来源
研究人员正在开发先进的投机解码技术来加速大型语言模型 (LLM) 推理。JetFlow 是一个新框架，通过结合草稿效率和因果条件，提高速度，在各种基准测试中实现显著加速。EfficientRollout 专注于通过使用系统感知型自我投机解码来加速强化学习的 rollout，适应不断变化的策略和系统条件以减少延迟。Nightjar 提供了一种资源感知型自适应方法，动态调整投机解码长度并在有利时禁用它，以在实时服务场景中最大化吞吐量。另外…
-
用户在消费级GPU上训练GPT-1，证明AI研究的可及性
一位个人用户成功在一台配备NVIDIA RTX 2060 SUPER GPU的个人电脑上训练了原始的GPT-1模型。这一成就表明，现在可以在消费级硬件上复现基础AI研究，大大降低了过去所需的大量资源。该用户的目标是创建一个可访问的平台，用于实验LLM架构和训练技术，并强调重大的AI进展可能不完全依赖于大型、资金充足的研究实验室。
-
新的SIA框架通过更新脚手架和权重来自我改进AI
研究人员推出了一种新颖的自我改进AI系统SIA，该系统可同时更新智能体的脚手架（工具、提示、逻辑）及其模型权重。这一方法在最新论文中进行了详细介绍，它结合了两个先前独立的研究方向：脚手架更新和测试时训练。通过整合这些方法，SIA旨在克服AI开发和改进中的人为瓶颈。在法律分类、GPU内核优化和RNA去噪任务上的评估表明，与仅更新脚手架或权重的现有方法相比，性能有了显著提升。
-
尽管有美国出口管制，英伟达芯片仍被走私到中国和俄罗斯
美国当局正在调查多起先进的英伟达 GPU 和其他半导体技术被非法走私到中国和俄罗斯的案件，以规避出口管制。这些行动涉及复杂的计划，包括使用虚假前置公司和加密通信，以将受限芯片转移用于从人工智能开发到军事应用等各种目的。尽管 Applied Materials 和 Cadence Design Systems 等公司面临巨额罚款和执法行动，但此类技术的非法流动仍在继续，对国家安全构成挑战。
-
Hugging Face 和 AWS 详解基础模型基础设施
Hugging Face 和 AWS 合作，详细介绍了训练和运行大型基础模型所需的基础设施。该博文概述了一个分层架构，强调了 AWS 的计算、网络和存储服务与开源软件框架之间的相互作用。它强调了高效资源管理和可观测性对于大规模 AI 运营的重要性。
-
Sigmoid attention 改进了生物基础模型，实现了更快、更稳定的训练
研究人员开发了一种名为 Sigmoid Attention 的新注意力机制，该机制在训练生物基础模型方面提供了显著改进。与传统的 softmax attention 相比，这种新颖的方法能够学习到更好的表示，实现高出 25% 的细胞类型分离度和更高的内聚度指标。此外，Sigmoid Attention 能够实现更快的训练，模型完成速度最多可提高 10%，并通过缓解 softmax attention 中固有的问题来增强稳定性。该团队还…
-
FreeScale 方法大幅削减推荐模型训练成本
一篇新论文介绍了一种名为 FreeScale 的方法，旨在提高序列推荐模型分布式训练的效率。FreeScale 通过采用负载均衡的输入样本以及通信与计算重叠，解决了由“掉队者”和通信缓慢引起的计算瓶颈。该技术还利用了 SM-Free 方法来管理 GPU 资源竞争，据称在 256 个 H100 GPU 上将计算气泡减少了 90% 以上。