GEMM
PulseAugur coverage of GEMM — every cluster mentioning GEMM across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新内核通过融合 SwiGLU 激活来提高大语言模型推理速度
研究人员开发了新的技术，通过在瓦片级别将 SwiGLU 激活函数直接融合到 GEMM 操作中，来加速大语言模型 (LLM) 的推理。这些方法使用为 NVIDIA H100 GPU 定制的 CUTLASS 内核实现，显著减少了中间张量物化的相关开销。在 Qwen 2.5 模型上的评估显示，与标准的 PyTorch 实现相比，速度提升高达 2.47 倍，实现了更高的峰值 BF16 利用率，并展示了优于 cuBLAS 等现有库的数值性能。
-
新书详解用于 AI 工作负载的现代 GPU 编程
一本名为《现代 GPU 编程用于 MLSys》的新书旨在揭开机器学习系统高性能 GPU 内核开发的神秘面纱。该书源自卡内基梅隆大学的机器学习系统课程系列，提供了理解 GPU 硬件和构建优化内核的分步指南。它利用 TIRx Python DSL 进行实际示例，重点关注 NVIDIA 的 Blackwell 架构以及 GEMM 和 FlashAttention 等核心组件。
-
Apple M4 Max GPU 的张量计算路径被模拟，而非加速
研究人员逆向工程了 Apple M4 Max GPU 上的 Metal 4.1 张量计算路径，发现 fp8 matmul2d 操作是模拟的，而非硬件加速。这意味着该操作在 GPU 的着色器核心上运行，至少以 fp32 精度累积，并且不使用专用的矩阵数据路径或 Apple Neural Engine。这些发现详细记录在一篇题为“Rigel”的论文中，通过实证表征和微基准测试实现，并开发了一个融合内核，其性能比分解路径高出 12.9%。
-
新框架通过反馈和技能进化增强 LLM 生成的 Verilog
研究人员开发了 Verilog-Evolve，一个旨在增强大型语言模型生成 Verilog 代码的新框架。该系统通过整合来自功能仿真、Yosys 合成和时序分析的反馈循环，超越了孤立采样和功能检查。Verilog-Evolve 迭代地优化代码，根据可配置的评分将最佳候选者提升为新版本，并通过创建、改进和跳过决策的过程在会话中进化技能。
-
TileLang通过Python接口简化GPU内核编写
一种名为TileLang的新编程语言旨在通过提供介于Triton等高级框架和CUTLASS等底层控制之间的中间层来简化GPU内核开发。TileLang允许开发人员编写Python代码，同时显式定义数据在内存层次结构和流水线阶段的放置。然后，编译器会推断线程映射并优化布局，从而降低了通常与手动线程管理相关的复杂性。
-
Sakana AI、NVIDIA 发布 TwELL，加速 LLM 训练和推理
Sakana AI 和 NVIDIA 的研究人员开发了 TwELL，这是一种显著加速大型语言模型 (LLM) 操作的新方法。通过针对计算密集型的前馈层，TwELL 实现了高稀疏性，并在 GPU 上转化为实际性能提升。该方法在不影响模型准确性的情况下，训练速度最高提升 21.9%，推理速度最高提升 20.5%。
-
Tempus框架为边缘AI提供可扩展、资源高效的GEMM
研究人员开发了Tempus，一个旨在优化AMD Versal SoC上边缘AI部署的通用矩阵乘法（GEMM）的新框架。与在资源受限设备上失败的现有空间扩展方法不同，Tempus使用固定的计算块和通过迭代执行及数据分块实现的时间扩展。这种方法取得了显著的性能提升，在10.677W功耗下实现了607 GOPS，同时与先前最先进的方法相比，在资源和功耗节约方面表现更优。