Cutlass
PulseAugur coverage of Cutlass — every cluster mentioning Cutlass across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的CTA-pipelining方法大幅降低LLM的多GPU延迟
研究人员推出了一种新颖的多GPU系统执行范式CTA-pipelining，该范式针对服务大型语言模型的延迟进行了优化。该方法利用了协同线程阵列（Cooperative Thread Array）层面的依赖关系，从而实现跨GPU的并发内核执行。在H200和B200系统上的实验表明，CTA-pipelining可以将特定操作的延迟降低高达31.8%，并且可以与张量并行（Tensor Parallelism）结合以获得进一步的性能提升。
-
新内核通过融合 SwiGLU 激活来提高大语言模型推理速度
研究人员开发了新的技术，通过在瓦片级别将 SwiGLU 激活函数直接融合到 GEMM 操作中，来加速大语言模型 (LLM) 的推理。这些方法使用为 NVIDIA H100 GPU 定制的 CUTLASS 内核实现，显著减少了中间张量物化的相关开销。在 Qwen 2.5 模型上的评估显示，与标准的 PyTorch 实现相比，速度提升高达 2.47 倍，实现了更高的峰值 BF16 利用率，并展示了优于 cuBLAS 等现有库的数值性能。
-
新系统 KernelPro 使用 LLM 自主优化 GPU 内核代码
研究人员开发了 KernelPro，一个旨在优化大型语言模型 GPU 内核代码的自主系统。该系统集成了 LLM 代码生成、硬件剖析器反馈和专用分析工具，以迭代地提高性能。KernelPro 引入了新颖的组件，例如用于可操作指导的语义反馈算子、用于高效瓶颈分析的两阶段工具调用架构，以及直接的 CuTe 源级代码生成。该系统在基准数据集上展示了显著的加速，并显示出优于专家优化内核的改进，同时还关注能源效率。
-
为 NVIDIA 的 DVLT 3D 模型构建的 CUDA/C++ 推理引擎
一个名为 dvlt.cu 的新推理引擎已使用 CUDA/C++ 从头开始开发，用于 NVIDIA 的 DVLT 3D Transformer 模型。这个独立的 5MB 二进制文件依赖性极小，仅依赖于 cuBLASLt 和仅标头文件 cuTLASS 库。它能高效处理 bf16 权重，执行一次性批量 GPU 上传，并提供确定性输出，使其适用于 3D 重建任务。
-
TileLang通过Python接口简化GPU内核编写
一种名为TileLang的新编程语言旨在通过提供介于Triton等高级框架和CUTLASS等底层控制之间的中间层来简化GPU内核开发。TileLang允许开发人员编写Python代码，同时显式定义数据在内存层次结构和流水线阶段的放置。然后，编译器会推断线程映射并优化布局，从而降低了通常与手动线程管理相关的复杂性。
-
可预测数据使GPU矩阵乘法更快
研究人员发现，当输入数据“可预测”时，GPU上的矩阵乘法可以执行得更快。最初，一个名为CUTLASS的项目显示比NVIDIA的CuBLAS提高了10%的性能。然而，当在Python中进行基准测试时，这种提升消失了。进一步的调查显示，CUTLASS的分析器默认使用整数初始化的输入，这导致了观察到的加速。当将零初始化的矩阵与随机初始化的矩阵进行比较时，零初始化的矩阵产生了显著更高的Teraflops，这表明数据内容本身会影响matmul性能。
-
CuTeDSL成为LLM推理的新GPU内核路径，挑战CUTLASS
LLM推理的GPU内核工程领域正在发生转变，CuTeDSL正崭露头角，有望成为C++ CuTe/CUTLASS的后继者。这种演变体现在FlashAttention-4和TorchInductor等技术中的行业趋势。对于2026年的开发者来说，选择C++ CUTLASS还是基于Python的CuTeDSL正成为一个关键考量，PyTorch和NVIDIA在其中扮演着重要角色。
-
Moonshot AI 开源 FlashKDA，在 H200 GPU 上将 Kimi Delta Attention 加速 2.5 倍
Moonshot AI 发布了 FlashKDA，这是 Kimi Delta Attention 的一个开源实现。该新内核在 NVIDIA H200 GPU 上实现了高达 2.5 倍的推理速度提升。它使用 CUTLASS 构建，并针对可变长度批处理进行了优化，可以无缝集成到现有的深度学习框架中。