PulseAugur
中
实时 13:08:42
实体 NVLink

NVLink

PulseAugur coverage of NVLink — every cluster mentioning NVLink across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
14
90 天内 71
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 8
层级分布 · 90 天
主题
关系
情绪 · 30 天

9 天有情绪数据

最近 · 第 1/4 页 · 共 74 条
  1. TOOL · CL_368796 ·

    律师的价值 9,450 美元的 AI 服务器配备 12 个 Nvidia V100,运行 DeepSeek V4.1 Flash

    一位律师通过安装 12 个二手 Nvidia V100 GPU(花费 9,450 美元)显著升级了他的私有 AI 服务器,以运行 DeepSeek V4.1 Flash 模型。该设置允许模型的所有 15,360 个专家以 4 位 NVFP4 精度驻留在内存中,这是以前无法在没有压缩的情况下实现的壮举。虽然 V100 缺乏用于 FP4/FP8 的专用张量核心,但软件解决方法使它们能够高效地处理模型,据报道,其单次请求的性能优于 DGX …

  2. SIGNIFICANT · CL_368716 ·

    AI 集群增长遭遇功率、散热和发布流程限制

    AI 集群的扩张,现已超过 100,000 个加速器,由于单个数据中心内的功率和散热限制而面临重大挑战。这需要转向能够跨多个设施和地理区域连接计算资源的“跨域扩展”网络架构。虽然 AMD 的 Infinity Fabric 和 Nvidia 的 NVLink 等互连技术在扩展和横向扩展方面取得了进展,但新兴的跨域扩展领域面临着长距离通信延迟以及管理大量加速器固件和驱动程序发布的复杂性等挑战。

  3. RESEARCH · CL_353276 ·

    SpaceX 开发定制‘Kessel’AI 系统,配备 72 块 Nvidia Rubin GPU

    据报道,SpaceX 正在为其数据中心(包括太空中的数据中心)开发一款名为‘Kessel’的定制机架级 AI 系统。该系统采用了 72 块 Nvidia Rubin GPU,并用一块大型 84 层印刷电路板取代了传统的 NVLink 线缆组件,用于互连。通过直接采购组件和管理自己的供应链,SpaceX 旨在获得更大的控制权和优化能力,尤其是在轨道部署方面。

  4. TOOL · CL_352187 ·

    新的NVLink技术加速混合专家AI推理

    研究人员开发了一种名为NVLinkOneSided的新方法,用于加速NVLink上的混合专家(MoE)模型的推理。该方法通过允许GPU之间直接推送Token来优化专家并行全互联通信,绕过元数据交换并降低延迟,尤其适用于小批量大小。在Blackwell GPU上的基准测试显示,NVLinkOneSided相比DeepEP等现有方法实现了1.2-3.0倍的加速,使MoE层速度提升高达2.4倍,在解码任务中具有竞争力。

  5. TOOL · CL_344394 ·

    FastAFD引擎在NVLink系统上提升MoE模型服务吞吐量

    一篇新的研究论文介绍FastAFD,这是一种旨在提高在GB200 NVL72等机架规模NVLink系统上服务大型混合专家(MoE)模型效率的引擎。FastAFD将注意力与专家分离,允许它们并发处理,与标准的vLLM配置相比,Qwen3和Qwen3.5等模型的吞吐量提高了1.17倍。该论文还提出了一个分析模型来预测AFD的性能优势,表明当更大批次大小和改进的重叠带来的收益超过分离成本时,AFD最具优势。

  6. RESEARCH · CL_344249 ·

    LLM 易受 GPU 软错误影响;集成挑战已 noted

    arXiv 上的一项新研究调查了大型语言模型 (LLM) 在图形处理单元 (GPU) 软错误面前的脆弱性,特别是在易受辐射的环境中。该研究通过指令级故障注入,揭示了模型架构、参数规模和任务复杂度如何影响 LLM 的弹性。同时,dev.to 上的一项独立分析探讨了将 LLM 集成到 GPU 故障分类系统中的实际挑战,强调了与系统集成相关的六种常见故障模式,而非模型能力本身。

  7. TOOL · CL_341962 ·

    CHARM+ 机制提升大语言模型分布式注意力性能

    研究人员推出了一种新颖的 CHARM+ 机制,旨在增强大语言模型(LLM)的分布式注意力,尤其适用于长序列。该新方法将顺序通信重组为多个级别,实现了层内并行和计算重叠。通过将跨硬件通信与层内通信解耦,CHARM+ 有效消除了带宽不平衡引起的同步开销,从而提高了 GPU 利用率和跨各种硬件架构的整体性能。评估结果表明,CHARM+ 的性能持续优于最先进的方法,在 PCIe 和 NVLink 架构上相比 Ring-Attention 实现…

  8. TOOL · CL_343023 ·

    NVIDIA V100 SXM2 模块开源参考设计发布

    一个项目发布了 NVIDIA V100 SXM2 模块的开源参考设计,详细介绍了用于多 GPU 配置的引脚和 NVLink 连接。该项目提供了 KiCad 资源、原理图 PDF 和连接表,以帮助他人开发自己的载板。虽然不是经过硬件认证的产品,但此预发布旨在促进社区在 GPU 模块集成方面的发展和信息共享。

  9. RESEARCH · CL_335152 ·

    NVIDIA 调整 Rubin GPU 规格,降低内存和 NVLink 带宽

    NVIDIA 已调整其即将推出的 Rubin GPU 的规格,与早期预测相比,降低了 HBM4 内存带宽和 NVLink 互连带宽。Rubin GPU 现在将提供每 GPU 19.2 TB/秒的内存带宽,低于之前 22 TB/秒的目标,NVLink 带宽将从 3.6 TB/秒减少到 3.0 TB/秒。然而,横向扩展网络带宽已从 400 GB/秒增加到 450 GB/秒。这些变化发生之际,NVIDIA 正开始为 Vera Rubin 系…

  10. TOOL · CL_331174 ·

    vLLM 基准测试显示其并发性和多链接性能优于 llama.cpp

    作者对在家庭多 GPU 设置上运行大型语言模型的 vLLM 和 llama.cpp 进行了基准测试。vLLM 通过高效管理 KV 缓存和利用 NCCL 进行 GPU 通信,在处理高并发方面表现出卓越的性能,优于在处理多个并发请求时遇到困难的 llama.cpp。测试还表明,结合多个网络链接可以显著提高性能,尤其是在处理更长上下文时,并且混合专家(MoE)模型通常比密集模型提供更好的吞吐量和更高的上下文上限。

  11. TOOL · CL_330140 ·

    Grace Blackwell 调度器通过机架局部性优化将可用 GPU 提升 27%

    一款名为 Grace Blackwell 的新调度器已被开发出来,用于优化大规模 AI 训练和推理的 GPU 利用率。该调度器专注于为多节点作业保持机架局部性,这对于最大化 NVLink 等高速互连的性能至关重要。通过智能地放置工作负载和管理硬件故障,Grace Blackwell 调度器旨在从现有基础设施中将可用 GPU 容量提高多达 27%。

  12. SIGNIFICANT · CL_329527 ·

    Oracle 和 NVIDIA 合作打造兆瓦级 AI 超级集群 · 跟踪 2 个来源

    Oracle 和 NVIDIA 正在合作,在 Oracle Cloud Infrastructure (OCI) 内构建大规模 AI 超级集群。这些集群将配备 NVIDIA 最新的 Vera Rubin NVL72 系统,旨在为训练和推理 AI 模型提供巨大的计算能力,并支持 AI 代理。此次扩建计划包括多达 150,000 个 NVIDIA Vera CPU 和先进的网络连接,以连接数十万个 GPU,目标是显著扩展 AI 能力。

  13. TOOL · CL_308243 ·

    AI-Node-Sentinel 项目测试 LLM 集成在 GPU 故障分类中的应用

    一个名为 AI-Node-Sentinel 的开源项目已被开发出来,用于将 LLM 集成到 GPU 故障分类系统中。该项目目前处于早期阶段(scaffold v0.1),旨在自动化分析 GPU 硬件错误代码并推荐相应操作的过程。通过进行六次故障注入实验,以识别 LLM 集成管道中潜在的故障点,结果显示问题主要与数据格式、证据输入和信号佐证有关,而非核心模型能力。

  14. TOOL · CL_284227 ·

    RTX PRO 6000 与 H100:LLM 推理成本效益分析

    对 NVIDIA 的 H100 和 RTX PRO 6000 Blackwell GPU 用于 LLM 推理的成本效益分析表明,对于单 GPU 模型,RTX PRO 6000 更便宜。对于多 GPU 设置,H100 卓越的内存带宽和 NVLink 技术使其具有优势。RTX PRO 6000 提供更多内存,这对于更大的模型可能是有益的,但其较低的内存带宽在更高并行性场景中是一个限制因素。

  15. TOOL · CL_283438 ·

    为AI工程师解析Nvidia GPU术语

    本文为AI工程师定义了必不可少的GPU术语,涵盖了从CUDA核心到NVLink的概念。文章解释了这些NVIDIA GPU概念如何影响模型拟合、执行速度和可扩展性。该文旨在使AI专业人士掌握相关知识,以了解和优化其机器学习工作负载的GPU性能。

  16. COMMENTARY · CL_272944 ·

    SemiAnalysis 提出新的 GPU 集群租赁 SLA 以提高可靠性

    SemiAnalysis 正在提出 GPU 集群租赁的新的服务水平协议 (SLA) 条款,重点关注正常运行时间和故障赔偿的明确定义。拟议的 SLA 旨在确保准确衡量恢复的容量,并使提供商能够高效地处理硬件故障。这包括详细的监控仪表板、基于硬件故障类型的适当恢复计划以及对恢复容量的验证。

  17. TOOL · CL_260691 ·

    Neovim 拥有 80 万美元比特币捐赠;Apple 考虑使用英伟达技术用于 AI 服务器

    Neovim 在 2023 年收到了一笔价值约 80 万美元的未认领比特币捐赠。另外,据报道 Apple 正在考虑为其定制的 M8 Ultra AI 服务器使用英伟达的 NVLink 技术,并计划在 2029 年进行数据中心合作。

  18. RESEARCH · CL_260019 ·

    Lasso Security为生成式AI和LLM网络安全融资600万美元

    Lasso Security已获得600万美元的种子轮融资,用于开发生成式AI和大型语言模型的网络安全解决方案。这笔资金将支持该公司应对这些先进AI技术带来的独特安全挑战的努力。这笔投资凸显了对AI系统安全日益增长的关注和市场兴趣。

  19. TOOL · CL_260020 ·

    思科修补了关键的身份验证绕过零日漏洞

    思科已发布补丁,修复了其身份服务引擎(ISE)中一个允许身份验证绕过的关键零日漏洞。该漏洞在CVSS评分中达到满分10分,在发现后不久即被积极利用。该漏洞紧随另一个最近披露的思科零日漏洞之后,该漏洞曾促使管理员紧急进行补丁更新。

  20. TOOL · CL_259899 ·

    AI测试环境暴露实时客户数据,引发安全审查

    测试环境中的安全漏洞允许未经授权访问实时客户数据,促使数据保护官员呼吁立即审查当前的数据保护模型。此次事件凸显了AI驱动的网络攻击的潜在风险,以及在AI开发和部署中采取强有力安全措施的必要性。