NVIDIA H200
PulseAugur coverage of NVIDIA H200 — every cluster mentioning NVIDIA H200 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Thinking Machines Lab 发布 Inkling,一个 975B 参数的开源多模态 MoE 模型
Thinking Machines Lab 发布了 Inkling,一个开源、多模态的专家混合(MoE)模型。该模型拥有 9750 亿总参数和 410 亿活跃参数,支持 100 万 token 的上下文窗口,并在 45 万亿 token 的文本、图像、音频和视频数据上进行了训练。Inkling 采用独特的架构,包含交错的滑动窗口和全局注意力层,一种无编码器的多模态方法,以及一种新颖的可控“思考力度”机制,允许用户调整模型每个 toke…
-
中国放宽对人工智能公司购买英伟达H200芯片的禁令,以应对全球竞争
据报道,中国政府正在放宽对包括阿里巴巴集团、字节跳动和DeepSeek在内的部分国内人工智能公司的NVIDIA H200芯片购买限制。此举标志着一种务实的做法,旨在解决保持在全球人工智能竞赛中竞争力的先进计算能力的即时需求。虽然政府仍优先考虑长期的技术自给自足,但它承认本地生产的替代品目前还无法弥合巨大的计算能力差距。
-
智谱AI的GLM-5.2模型已部署在无服务器GPU上
智谱AI发布了GLM-5.2,一个拥有7000亿参数的混合专家模型(MoE),在复杂推理和软件工程任务方面表现出色,据报道在某些基准测试中能媲美甚至超越Claude 3.5 Sonnet和GPT-4o等专有模型。由于其庞大的权重和上下文窗口,部署这个大型模型需要一个8x NVIDIA H200 GPU集群,这带来了显著的基础设施挑战。文章详细介绍了在无服务器GPU平台Modal上部署GLM-5.2的案例研究,强调了FP8量化在内存效率…
-
超级人工智能代理使用自玩 RL 主导 Generals.io
一篇新的研究论文详细介绍了为实时战略游戏 Generals.io 创建的超级人工智能代理。该代理在高端 GPU 上训练了四天,在超过 5,000 名人类玩家中达到了最高排名,并展示了对顶尖人类竞争对手的显著胜率。通过一个高度优化的、原生 JAX 的模拟器实现了这一开发,该模拟器达到了每秒数千万帧的速度,极大地减少了训练的数据瓶颈。
-
MegaFold系统提升3D注意力蛋白质模型训练效率
研究人员开发了MegaFold,一个旨在提高大规模3D注意力蛋白质模型训练效率的新系统。该方法解决了像AlphaFold3这样模型带来的显著计算和内存挑战,这些模型具有随序列长度呈立方增长的成本。MegaFold集成了内存高效内核、通信高效分片、融合算子和优化的主机-设备流水线,以提高GPU利用率。在NVIDIA H200和AMD MI250 GPU上的评估表明,MegaFold能够处理更长的序列并缩短整体执行时间。
-
MIMONet 使用神经算子实现对不可及系统的虚拟传感
研究人员开发了 MIMONet,一个新颖的基于算子的虚拟传感框架,专为安全关键系统(如核级热流体系统)中难以到达或不可测量参数的实时监控而设计。该方法利用神经算子从稀疏的边界测量中推断内部场,这与传统估计方法有所区别。在包括压水堆子通道和换热器在内的复杂场景中进行评估,MIMONet 在显著的传感器噪声下,仍能以低于 5% 的相对误差展现出高精度,并在 NVIDIA H200 硬件上实现了毫秒级的推理时间。
-
Flash-KMeans 加速 GPU k-means 聚类超 200 倍
来自加州大学伯克利分校和德克萨斯大学奥斯汀分校的研究人员开发了 Flash-KMeans,这是一个开源库,可显著加速现代 AI 管道中的 k-means 聚类算法。通过优化 GPU 上的数据移动和重构算法的阶段,Flash-KMeans 实现了显著的加速,据报道在 NVIDIA H200 GPU 上比 FAISS 快 200 多倍,比 NVIDIA cuML 快 33 倍。该库在数学上与标准 k-means 保持一致,侧重于 IO 效…
-
旧智能手机被重新用作低成本计算平台
加州大学圣地亚哥分校的研究人员与Google合作,开发了一种将旧智能手机重新用作功能性计算平台的方法。通过拆解Pixel手机等设备至主板,并安装Linux发行版,他们创建了低成本的数据中心。这些由25-50部手机组成的集群可以匹配双插槽服务器CPU的单核性能,为教育机构和小型实体提供了成本效益高的解决方案。
-
Avataar AI 以全球成本的一小部分推出面向印度的 Varya 视频模型
Avataar AI 推出了 Varya,一款针对印度市场优化的新型视频生成模型。Varya 使用阿里巴巴的 Wan 2.2 进行蒸馏构建,速度更快、成本更低,每秒视频成本为 0.005 美元。该模型旨在理解印度的文化细微差别,并将作为开放权重模型在印度的 AI Kosh 门户上发布,这反映了政府为促进该国人工智能发展和可访问性而采取的更广泛举措。
-
ArcOS engine tackles AI persona drift with deterministic logic
对话式AI中的Persona drift(模型随时间推移失去其预期角色)是一个架构问题,而非提示问题。ArcOS引擎通过将语言模型任务与确定性逻辑分离来解决此问题,采用一个五阶段流程来锚定Persona并独立管理内存。这种方法允许模型无关的集成,并已在生产环境中部署。
-
AIGaitor 支持设备端、私密的运动分析
研究人员开发了 AIGaitor,一个能在消费者智能手机上直接进行隐私保护、无需云端的运动分析的新颖系统。该系统利用设备端的神经网络加速器执行无标记单目运动捕捉和深度学习分析。AIGaitor 在 iPhone 14 上处理一个 10 秒的视频片段仅需不到 80 秒,在考虑网络延迟的情况下,其性能可与基于云的服务器相媲美或超越。该系统旨在通过提供易于访问且安全的解决方案,克服步态分析在临床应用中的障碍,如成本、复杂性和隐私问题。
-
神经算子VIRSO可在边缘设备上实现实时感知
研究人员开发了VIRSO,这是一种新颖的神经算子,专为不可及物理场的实时感知而设计。该系统独特地集成了为边缘部署优化的时空架构,显著降低了能耗并提高了推理速度。VIRSO在能耗-延迟积方面取得了实质性改进,并实现了嵌入式硬件上的低功耗、高速运行,标志着神经算子向实时部署迈出了重要一步。
-
Kog AI 在标准GPU上实现每秒3000个token的LLM推理
Kog AI 推出了其Kog推理引擎(KIE)的技术预览版,在标准数据中心GPU上展示了显著更快的实时LLM推理速度。该引擎在8块AMD MI300X GPU上实现了每秒3000个输出token,在8块NVIDIA H200 GPU上实现了每秒2100个token,重点在于优化整个软件栈的内存带宽而非原始FLOPS。这一进步对于AI代理尤其关键,因为单请求的解码速度直接影响迭代速度以及在给定时间预算内可完成的任务的复杂性。
-
金融巨头推出人工智能代币和 GPU 租赁期货市场
金融机构正在开发新的人工智能代币交易市场,类似于黄金和石油的交易方式。上海期货交易所正在设计一个人工智能代币的衍生品市场,而 CME Group 和 Intercontinental Exchange 正在计划 GPU 租赁的期货合约。这些举措旨在为企业、投资者和数据中心运营商提供对冲计算成本的工具,反映了对人工智能基础设施的巨额投资以及对 GPU 和基于代币的定价模型日益增长的需求。
-
OSP-Next视频模型以效率提升实现83.73% VBench分数
研究人员推出了一种新颖的文本到视频生成模型OSP-Next,旨在提高效率和质量。该模型集成了稀疏注意力机制、一种将通信量比现有方法减少75%的新型稀疏序列并行(SSP)技术,以及用于稳定8位训练的HiF8量化。实验表明,OSP-Next的VBench得分为83.73%,优于Wan2.1基线,并在包括NVIDIA H200和Ascend 950PR GPU在内的各种硬件平台上实现了显著的速度提升。
-
Together AI 增加 1,000 块 H100/H200 GPU 用于推理
Together AI 通过增加一千台 NVIDIA H100 和 H200 实例,显著扩展了其 GPU 容量。这些强大的 GPU 现已通过 Together 的按需 GPU 集群和专用端点服务提供。此次扩展旨在为 AI 推理和开源模型开发提供更强大的基础设施。
-
AIGaitor 通过智能手机实现设备端、私密的运动分析
研究人员开发了 AIGaitor,一个全新的运动分析系统,该系统完全在智能手机上运行,无需云端处理。这种方法解决了康复临床医生提出的、在临床运动捕捉中存在的成本、复杂性和隐私问题等关键障碍。AIGaitor 利用设备端的神经网络加速器执行无标记单目运动捕捉和深度学习分析,处理速度可与云端系统相媲美。
-
Hugging Face 和 AWS 详解基础模型基础设施
Hugging Face 和 AWS 合作,详细介绍了训练和运行大型基础模型所需的基础设施。该博文概述了一个分层架构,强调了 AWS 的计算、网络和存储服务与开源软件框架之间的相互作用。它强调了高效资源管理和可观测性对于大规模 AI 运营的重要性。
-
Hallo-Live 实现 20 FPS 的实时音视频化身生成
研究人员开发了 Hallo-Live,一个用于实时文本驱动音视频化身生成的新颖框架。该系统利用异步双流扩散方法结合以人为本的偏好蒸馏,以实现高保真度和同步性。Hallo-Live 展现了显著的速度提升,以 20.38 FPS 的低延迟运行,使其适用于交互式应用。
-
DeepSeek v3 引领开源模型,Baseten 实现任务关键型推理
DeepSeek v3 是一款新的 6710 亿参数的混合专家模型,现已发布,是目前性能最佳的开源模型。服务如此大的模型带来了巨大的挑战,但推理初创公司 Baseten 已成功部署了 DeepSeek v3,使用了 NVIDIA H200 GPU 和 SGLang 框架。此次部署强调了大规模运行任务关键型 AI 推理的关键因素,包括模型性能、高效的服务基础设施和强大的编排能力。