LLM Inference
PulseAugur coverage of LLM Inference — every cluster mentioning LLM Inference across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
RTX PRO 6000 与 H100：LLM 推理成本效益分析
对 NVIDIA 的 H100 和 RTX PRO 6000 Blackwell GPU 用于 LLM 推理的成本效益分析表明，对于单 GPU 模型，RTX PRO 6000 更便宜。对于多 GPU 设置，H100 卓越的内存带宽和 NVLink 技术使其具有优势。RTX PRO 6000 提供更多内存，这对于更大的模型可能是有益的，但其较低的内存带宽在更高并行性场景中是一个限制因素。
-
空间填充曲线简化了通信规避矩阵乘法
一篇新的研究论文介绍了空间填充曲线（SFC）作为一种方法，用于简化和优化高性能计算和深度学习的通信规避通用矩阵乘法（CA-GEMM）。该方法实现了平台无关和形状无关的矩阵乘法方案，并提高了数据局部性。SFC-CA GEMM算法展示了可证明的渐近通信最优性，并在x86和Arm平台上比供应商库的性能高出5.5倍。其在LLM推理预填充中的应用显示速度提升高达1.85倍，在分布式内存矩阵乘法中，速度提升高达2.3倍。
-
新的 LLM 推理技术提高了 GPU 利用率和效率
研究人员开发了一种新的方法来剖析 LLM 推理的 GPU 利用率，超越单一百分比，提供源自 Nsight Compute 报告的八个详细视图。该方法将利用率差距映射到诸如片段填充和占用限制等特定机制，从而更精细地理解 Nvidia Hopper 架构上的性能。另外，中国移动云推出了结合 GPU 和神经形态处理器的异构 LLM 推理堆栈，声称在 DeepSeek V4 Flash 等模型的输出、能源效率和运营成本降低方面取得了显著的进步。
-
牛津大学研究人员详细介绍LLM推理新架构
牛津大学的研究人员详细介绍了一种专为大型语言模型（LLM）推理设计的新型混合HBM-HBF架构。这篇由《半导体工程》发表的技术论文概述了与半导体器件制造相关的架构进步。
-
Event Tensor 抽象统一了 LLM 的动态巨核编译
研究人员推出了一种新颖的编译器抽象 Event Tensor，旨在统一现代 GPU 工作负载的动态巨核编译。该抽象解决了当前巨核技术在处理大型语言模型 (LLM) 推理中常见的动态形状和数据依赖计算方面的局限性。Event Tensor Compiler (ETC) 利用此抽象生成高性能的持久核，展示了最先进的 LLM 服务延迟并降低了系统预热开销。