PCI Express
PulseAugur coverage of PCI Express — every cluster mentioning PCI Express across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
为AI工程师解析Nvidia GPU术语
本文为AI工程师定义了必不可少的GPU术语,涵盖了从CUDA核心到NVLink的概念。文章解释了这些NVIDIA GPU概念如何影响模型拟合、执行速度和可扩展性。该文旨在使AI专业人士掌握相关知识,以了解和优化其机器学习工作负载的GPU性能。
-
新的ThunderEP设计提升消费级GPU上的MoE推理性能
研究人员开发了ThunderEP,这是一种新的通信设计,用于在通过PCIe连接的消费级GPU上高效运行大型专家混合(MoE)模型。该系统解决了这些设置中固有的通信瓶颈,数据传输通常涉及CPU。ThunderEP旨在绕过CPU中继跳跃并利用DMA引擎,避免与计算资源的争用,从而减少同步延迟。在配备RTX 4090和RTX 5090 GPU的系统上进行的评估表明,与NCCL等现有方法相比,速度显著提升,MoE推理的端到端改进高达1.66倍。
-
英特尔Nova Lake CPU在发布前通过USB和PCIe合规性测试
英特尔即将推出的Nova Lake处理器及相关芯片组已成功通过PCI-SIG和USB Implementers Forum的合规性测试。这些认证是正式发布前的关键步骤,确保了互操作性,并允许英特尔使用官方USB和PCIe标识。这些认证表明,预计将用于桌面和移动设备的Nova Lake平台已接近发布,泄露信息显示可能在2027年第一季度发布。
-
AI互联需求激增,重塑铜缆与光纤之争
对AI基础设施的需求正在推高对高速互联的需求,促使Astera Labs等公司开发能够处理GPU之间增加的数据交换的解决方案。这导致了对铜缆与光纤互联的重新评估,传输速率、规模和功耗等因素变得至关重要。随着AI的普及,焦点正从简单的数据传输速度转向优化整体系统的Token成本和性能,尤其是在推理市场兴起和AI系统日益定制化的背景下。
-
MSI 模式:解释 Windows 中用于 GPU 通信的功能
MSI 模式是 Windows 的一项功能,允许显卡等硬件设备更有效地与 CPU 通信。它随 PCIe 2.2 和 Windows Vista 一起引入,使用内存映射中断而非物理线路来降低延迟。虽然它可以提高旧系统的稳定性和减少输入延迟,但它不会提高帧率,并且如果强制用于制造商默认禁用的硬件,可能会导致不稳定。RTX 5090 等显卡的新驱动程序通常默认启用 MSI,覆盖制造商禁用它的决定存在崩溃和驱动程序超时的风险。
-
Radeon RX 7900 XTX 上的 8 针 PCIe 电源连接器因适配器而熔化
据报道,连接到 Radeon RX 7900 XTX 显卡的 Thermal Grizzly WireView 适配器上的 8 针 PCIe 电源连接器熔化。用户在发现适配器 GPU 端连接器上的塑料烧焦和熔化之前,经历了系统冻结和黑屏。Thermal Grizzly 正在调查此事件,该事件可能归因于适配器、连接器或 GPU 本身的问题。这与最近 RTX 5090 成功使用三个 8 针连接器的改装形成对比,凸显了正确实施的重要性。
-
M.2 转 OCuLink 适配器导致 PCIe 速度降级,影响 AI 模型性能
Reddit r/LocalLLaMA 子版块的一名用户发现,他们的 M.2 转 OCuLink 适配器意外地将 PCIe 连接降级到了 Gen1 速度。这个问题并非立即可见,需要手动检查系统日志才能识别。该用户正在寻找实时测量 PCIe 带宽利用率的方法,并怀疑这种降级会影响模型加载和层交换性能。
-
GPU内存写入操作的技术深度解析
这篇技术文章深入探讨了GPU如何管理内存写入的复杂性,探讨了GDDR6和HBM2等不同内存类型之间的差异。它考察了PCI Express等接口以及CUDA和OpenCL等编程模型在此过程中的作用。文章还涉及了DirectX和Vulkan等图形API,强调了它们如何与GPU内存交互。
-
FreeToken 引擎可在个人 PC 上运行大型 MoE 模型
FreeToken 是一个开源引擎,旨在通过将整个 PC 作为异构推理系统来在个人硬件上运行大型混合专家(MoE)模型。它通过将完整的专家池存储在 CPU 主机 RAM 中,同时将非专家权重和共享专家缓存保留在 GPU 中来管理 MoE 模型。该系统动态测量主机内存和 PCIe 带宽,以优化 CPU 和 GPU 之间的专家执行,并采用双缓冲来隐藏预填充期间的传输延迟。此外,FreeToken 还为代理工作负载提供语义感知缓存,允许它在…
-
AMC首席执行官威胁就未经授权的股票代币化采取法律行动;新款RTX 3060表现令人失望
据报道,AMC首席执行官Adam Aron对Robinhood未经公司许可代币化AMC股票的行为感到愤怒,并威胁采取法律行动。Robinhood此举引发了关于企业对区块链股权代币化控制权的重大疑问。此外,一款新的单槽、低剖面、75W RTX 3060 GPU在性能测试中表现令人失望,原因是它完全依靠PCIe插槽供电,导致性能严重受损并出现令人担忧的散热问题。
-
本地 LLM 用户询问双 AMD GPU 设置以获得 40GB 显存
一位用户正在寻求建议,关于在现有的 7900 XTX 24GB 设置中添加第二块显卡 RX 6800 16GB 是否有利于在本地运行大型语言模型。他们特别关注 PCIe x2 连接的性能影响,以及与卸载到系统内存相比如何。用户想知道大约 40GB 显存可以运行哪些特定模型大小或量化级别,并正在寻找实际基准测试,尤其是在混合 AMD GPU 的情况下。
-
NVIDIA推出NVLink Fusion,将定制XPUs集成到AI工厂
NVIDIA推出了NVLink Fusion技术,旨在将定制设计的XPUs(eXponential Processing Units)与NVIDIA现有的AI基础设施集成。该解决方案旨在通过提供成熟、高性能的网络和机架级架构来加速AI工厂的开发和部署。NVLink Fusion利用NVLink技术实现加速器之间的高带宽、低延迟通信,并利用NVLink-C2C与CPU进行高效集成,从而降低了构建专业AI硬件的公司的运营风险和上市时间。
-
AI 爱好者寻求多 GPU 设置以进行本地模型推理的建议
r/LocalLLaMA 子版块的一位用户正在寻求有关配置多 GPU 以进行 AI 模型推理的建议。他们目前正在使用 RTX 3090,并考虑添加第二块 GPU,例如 3070,但面临当前主板设置的物理空间限制。用户正在探索替代解决方案,包括外部 GPU 配置和使用 NVMe 存储来存放模型数据。
-
计算、内存和存储领域探索LLM首次响应时间缩减策略
减少大型语言模型(LLM)的首次响应时间(TTFT)对于用户体验和性能至关重要。这涉及到优化四个关键领域:计算、GPU内存、存储和整体架构。FlashAttention和PagedAttention等技术解决了计算和内存管理问题,但它们的有效性受到硬件带宽的限制。扩展GPU内存或将KV Cache分层到更快的存储(如NVMe-oF阵列)可以显著减少长上下文场景下的延迟,明信科技的解决方案就证明了这一点,该方案显示480B模型的TTFT…
-
PCIe P2P 提升消费级NVIDIA GPU上的LLM性能
一位Reddit用户分享了一种方法,通过启用PCI Express点对点(P2P)通信,显著提高了多GPU消费级硬件上大型语言模型的性能。通过使用补丁后的NVIDIA驱动程序和VLLM中的特定环境变量启用P2P,该用户观察到Qwen/Qwen3.6-27B-FP8模型的处理速度大约提高了25%。这种优化对于在具有高RAM带宽的系统上运行多个GPU的用户尤其有益。
-
ASUS Pro WS WRX90E-SAGE SE 工作站主板详览
ASUS Pro WS WRX90E-SAGE SE 主板专为 AMD Threadripper PRO CPU 设计,提供广泛的 PCIe 扩展和 ECC 内存支持。这款工作站级主板并非为典型的游戏设置而设计,而是面向专业、企业级任务。
-
PCIe SSD:内存短缺期间容量优先于速度
在全球内存供应短缺期间,PC配置中PCIe SSD的选择应优先考虑容量而非原始速度。虽然高读/写速度对游戏加载等任务有益,但与GPU或CPU等组件相比,对游戏性能的实际影响很小。对于游戏,尤其是大型现代游戏,拥有足够的存储空间来安装多个游戏比最快的SSD接口更关键。
-
人工智能为数据存储行业带来重大机遇和威胁
随着人工智能的兴起,存储行业面临着双重挑战和机遇。人工智能在推动对更快访问速度和更安全数据恢复的需求的同时,也通过潜在的故障和攻击带来了重大威胁。NVIDIA、AMD和Intel等公司在开发满足这些需求所需的硬件方面发挥着关键作用,而Microsoft、Google和Amazon等云服务提供商则在整合这些技术。OpenAI和Meta也是这个不断发展的格局中的重要实体。
-
依赖感知缓存解决了多 LoRA 服务延迟问题
初创公司为满足特定客户需求而微调大型语言模型时,常常面临不断增长的基础设施成本。一种常见的解决方案是使用多 LoRA 服务,它允许多个微调适配器在单个 GPU 上运行。然而,粗糙的实现会导致 LoRA 权重和 KV 缓存之间的缓存颠簸,从而导致高延迟。通过实现依赖感知缓存管理,将 KV 缓存视为依赖于其特定 LoRA 适配器,可以显著降低延迟。
-
Supermicro 成为定制服务器架构的首选代工厂商
Supermicro 已成为开发独特服务器架构的初创公司的关键代工厂商,超越了标准设计。该公司提供灵活的解决方案,可适应各种 PCIe 拓扑,包括单根和多根复杂配置。Supermicro 最初支持 Intel 和 AMD 处理器,现已将其产品扩展到包括基于 ARM 的平台,为客户提供更多计算基础设施的选择。