Cublas
PulseAugur coverage of Cublas — every cluster mentioning Cublas across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的CTA-pipelining方法大幅降低LLM的多GPU延迟
研究人员推出了一种新颖的多GPU系统执行范式CTA-pipelining，该范式针对服务大型语言模型的延迟进行了优化。该方法利用了协同线程阵列（Cooperative Thread Array）层面的依赖关系，从而实现跨GPU的并发内核执行。在H200和B200系统上的实验表明，CTA-pipelining可以将特定操作的延迟降低高达31.8%，并且可以与张量并行（Tensor Parallelism）结合以获得进一步的性能提升。
-
新内核通过融合 SwiGLU 激活来提高大语言模型推理速度
研究人员开发了新的技术，通过在瓦片级别将 SwiGLU 激活函数直接融合到 GEMM 操作中，来加速大语言模型 (LLM) 的推理。这些方法使用为 NVIDIA H100 GPU 定制的 CUTLASS 内核实现，显著减少了中间张量物化的相关开销。在 Qwen 2.5 模型上的评估显示，与标准的 PyTorch 实现相比，速度提升高达 2.47 倍，实现了更高的峰值 BF16 利用率，并展示了优于 cuBLAS 等现有库的数值性能。
-
AutoMegaKernel 将 Llama 模型编译为单个 CUDA 核函数
研究人员开发了 AutoMegaKernel (AMK) 系统，该系统将 HuggingFace Llama 系列模型编译成单个、持久的 CUDA 核函数，以实现高效的前向传播。AMK 的静态验证器可确保调度安全，防止死锁和竞用条件。该系统支持从单一代码库支持多种 NVIDIA GPU 架构，并已展示出自我改进能力。
-
可预测数据使GPU矩阵乘法更快
研究人员发现，当输入数据“可预测”时，GPU上的矩阵乘法可以执行得更快。最初，一个名为CUTLASS的项目显示比NVIDIA的CuBLAS提高了10%的性能。然而，当在Python中进行基准测试时，这种提升消失了。进一步的调查显示，CUTLASS的分析器默认使用整数初始化的输入，这导致了观察到的加速。当将零初始化的矩阵与随机初始化的矩阵进行比较时，零初始化的矩阵产生了显著更高的Teraflops，这表明数据内容本身会影响matmul性能。
-
DeepSeek V4 通过自定义内核取代 cuBLAS 实现更快的性能
DeepSeek 开发了一个自定义内核栈 DeepGEMM 和 TileLang，其性能不仅媲美，而且超越了 NVIDIA 的 cuBLAS。此自定义实现实现了比特级确定性和批次不变性，解决了其他工作负载平衡策略（如 splitK 或 split-KV）中常见的非确定性输出问题。这项创新在于其浮点数学方法，确保了调试和训练结果的一致性。