PulseAugur
中
实时 19:23:05
实体 GEMM

GEMM

PulseAugur coverage of GEMM — every cluster mentioning GEMM across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
15
90 天内 33
发布 · 30天
0
90 天内 0
论文 · 30天
7
90 天内 20
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

最近 · 第 1/2 页 · 共 33 条
  1. TOOL · CL_364518 ·

    llama.cpp 发布聚焦性能、错误修复和新模型

    llama.cpp 项目发布了多个预发布更新,重点关注跨平台和硬件的性能改进和错误修复。最近的更新包括针对 RDNA4 GPU 的优化、修复 AMD Windows 系统的驱动程序错误以及改进 SYCL 后端以支持分组 XMX GEMM。该项目还引入了一种新模型类型 Inkling 2 Mini,并优化了内部模型处理以提高效率。

  2. RESEARCH · CL_363007 ·

    AMD吹捧Instinct MI430X的原生FP64,批评Nvidia的HPC仿真

    在2026年超级计算大会上,AMD正在推广其Instinct MI430X加速器,强调其为高性能计算(HPC)工作负载提供原生双精度(FP64)处理能力。AMD认为,虽然Nvidia的FP64仿真适用于某些AI推理任务,但对于许多科学模拟和专业HPC应用来说却不足。该公司声称,Nvidia用于仿真的Ozaki方案仅能使一小部分HPC工作负载受益,并且会显著增加内存需求,可能导致更高的系统成本和复杂性。

  3. TOOL · CL_332919 ·

    AI代理协同设计软硬件基础设施以提升模型性能

    研究人员开发了一个名为Formulaic的新框架,该框架使用AI代理来协同设计AI基础设施,整合软硬件以提高性能。这种方法允许AI代理提出设计,然后由数学求解器进行优化,并验证其正确性和效率。初步研究显示性能显著提升,一项测试表明在NVIDIA GB10硬件上Qwen3-8B层的性能比现有软件快1.075倍,另一项研究表明在模拟的Ventus GPU上Qwen2.5-0.5B的最坏情况周期有所减少。

  4. TOOL · CL_328877 ·

    OpenAI 的 Sora 可根据文本生成逼真视频,引发创意和伦理问题

    OpenAI 推出了 Sora,一个文本到视频生成式人工智能模型,能够根据文本提示创建长达一分钟的视频。虽然 Sora 对物理世界表现出复杂的理解能力,并能生成高度逼真的画面,但它在复杂的物理模拟和长期的空间一致性方面仍面临局限。该模型的强大功能有望通过普及视频制作来对创意产业产生重大影响,但人们仍然担心其在制造深度伪造和传播虚假信息方面的潜在滥用,OpenAI 旨在通过安全措施和包含元数据来缓解这些问题。

  5. TOOL · CL_324889 ·

    BiLoCo方法通过二进制低秩校正削减LLM内存使用

    研究人员开发了BiLoCo,一种新颖的训练后量化(PTQ)方法,可在保持准确性的同时显著减小大型语言模型(LLMs)的内存占用。该技术将低秩校正因子存储为二进制符号向量,与SVDQuant等先前方法相比,每个秩的存储量减少了16倍。BiLoCo可以在Blackwell GPU上与主FP4 GEMM操作并行在CUDA核心上处理,从而最大限度地减少性能开销。

  6. TOOL · CL_324553 ·

    新的Waypoint模型优化CPU上的GEMM以加速LLM推理

    研究人员开发了Waypoint,一个旨在优化CPU上通用矩阵乘法(GEMM)性能的分析模型。通过考虑内存层次结构和多线程等架构因素,Waypoint识别GEMM操作的最佳分块大小。该模型已集成到OPAM GEMM库中,该库在性能上可与现有库相媲美,并在加速CPU上大型语言模型(LLM)推理方面实现了1.36倍至1.98倍的显著提速。

  7. TOOL · CL_320700 ·

    llama.cpp 为 Adreno GPU 上的 OpenCL 添加了 Q2_K 量化支持

    llama.cpp 项目发布了 b11873 版本,在其 OpenCL 后端中引入了对 Q2_K 量化格式的初始支持。此更新包括针对通用矩阵向量乘法 (GEMM) 和通用矩阵乘法 (GEMM) 操作的新内核实现,这些操作专门针对使用 dp4a 和面向服务的架构 (SOA) 方法的 Qualcomm Adreno GPU 进行了优化。由 Hongqiang Wang 联合撰写的这些贡献专注于调整这些内核以提高性能。

  8. RESEARCH · CL_317465 ·

    FIGFLEX加速器协同设计用于低比特LLM量化

    研究人员开发了FIGFLEX,这是一种新颖的混合精度加速器,旨在优化大型语言模型(LLM)的低比特量化。该硬件与量化技术协同设计,以高效处理占主导地位的浮点-整数(FP-INT)通用矩阵乘法工作负载。通过重新构建FP-INT乘法并采用基于误差容忍度分配位宽的混合精度量化器,FIGFLEX在LLaMA-2 7B等模型上实现了比现有方法更高的吞吐量和准确性。

  9. TOOL · CL_313735 ·

    蚂蚁集团、vLLM开源Humming以实现量化LLM推理

    蚂蚁集团和vLLM社区已联合发布Humming,一个用于即时编译GEMM内核的开源库。该库旨在加速量化LLM推理,支持一系列整数和浮点权重格式。Humming还提供与T-Head的Zhenwu 810E加速器完全兼容,为NVIDIA硬件提供了替代方案。

  10. TOOL · CL_313495 ·

    llama.cpp 发布预发布版本,修复 JSON 问题并增强 OpenCL

    llama.cpp 项目发布了两个预发布版本:b11871 和 b11789。版本 b11871 修复了 JSON 嵌套深度限制问题,以防止服务器崩溃,并支持各种操作系统和架构,特别提到了 KleidiAI。版本 b11789 专注于 OpenCL 增强,添加了支持向量激活加载的 dp4a GEMM 变体,并重命名了内核和环境变量,同时列出了广泛的平台支持。

  11. TOOL · CL_311837 ·

    llama.cpp b11763 增加了 OpenCL GEMM 变体和操作系统支持

    llama.cpp 项目发布了 b11763 版本,引入了多个新的 OpenCL GEMM 操作变体,特别针对小批量大小进行了优化。这些更新包括修复了越界读取问题,并移除了之前强制将权重放置在 CPU 上的条件。该版本还为 Q4_0 和 Q4_K 等多种量化格式增加了特定优化,并增加了对多种操作系统和硬件架构的支持,例如 Apple Silicon、Linux、Android 和 Windows。

  12. TOOL · CL_289326 ·

    新的 TME 模型项考虑了残差解构成本

    一篇新论文在 Tensor-Memory Equilibrium (TME) 模型中引入了一个缺失的第四项,即残差解构成本。该项考虑了在矩阵乘法发生之前,特别是对于流式操作数,所需的每输入解构成本。作者使用 cuBLAS 仿真路径校准了这一项,并建立了一个操作强度阈值,低于该阈值,仿真性能将受到限制,不如原生 fp64。

  13. TOOL · CL_284666 ·

    新的 SSR 方法加速三元 LLM 推理

    研究人员开发了稀疏分段归约(SSR)方法,这是一种加速三元大型语言模型(LLM)推理的新方法。该方法优化了三元权重(使用三元值压缩且通常具有高稀疏性)的矩阵乘法。SSR 引入了专用的三元数据格式和利用计算树稀疏性模式的算法,与 RSR++ 等现有方法相比,在理论和实践上都实现了加速。

  14. TOOL · CL_284363 ·

    新的 T-CCL 库利用 TMA 提升多 GPU AI 模型性能

    研究人员开发了 T-CCL,这是一个专为大型 Transformer 模型中高效多 GPU 执行而设计的新型集体通信库。T-CCL 利用张量内存加速器 (TMA) 来卸载数据移动和归约操作,显著减少了 GPU 流式多处理器 (SM) 上所需的计算资源。这种减少使得通信和计算能够更好地并发执行,从而提高性能。评估显示,在资源受限的条件下,T-CCL 的性能比 NCCL 等现有库高出 3.42 倍,并提高了 vLLM 等系统中的端到端推理吞吐量。

  15. TOOL · CL_273379 ·

    空间填充曲线简化了通信规避矩阵乘法

    一篇新的研究论文介绍了空间填充曲线(SFC)作为一种方法,用于简化和优化高性能计算和深度学习的通信规避通用矩阵乘法(CA-GEMM)。该方法实现了平台无关和形状无关的矩阵乘法方案,并提高了数据局部性。SFC-CA GEMM算法展示了可证明的渐近通信最优性,并在x86和Arm平台上比供应商库的性能高出5.5倍。其在LLM推理预填充中的应用显示速度提升高达1.85倍,在分布式内存矩阵乘法中,速度提升高达2.3倍。

  16. RESEARCH · CL_251989 ·

    新工具和研究致力于 GPU AI 工作负载的优化

    多篇研究论文和一个新的开源工具解决了在 GPU 上优化 AI 工作负载的挑战。COMPASS-ABS 旨在减少深度学习训练共享 GPU 集群中的碎片化,提高资源利用率和作业完成时间。研究人员还开发了自适应框架,如用于商品 GPU 上高效长上下文推理的 Tri-Metric Router 和使用数据流不变性进行代理 GPU 优化的 Ave。此外,mKernel 和 AttnFuse 分别专注于为多 GPU 系统和注意力机制创建快速、融合…

  17. COMMENTARY · CL_250521 ·

    AI对齐倡导者呼吁监管GEMM和GEMV操作

    有人呼吁监管GEMM和GEMV操作,这对于AI对齐和模型执行至关重要。该提议建议,未经适当许可而使用BLAS(基本线性代数子程序)的实体,特别是在本地部署模型时,应接受监管审查。这项举措将这些数学运算的使用置于AI安全和对齐的背景下。

  18. TOOL · CL_247090 ·

    Together AI 为 NVIDIA Vera Rubin Blackwell GPU 优化 ThunderKittens

    Together AI 已获得基于 Blackwell 架构的 NVIDIA Vera Rubin NVL72 平台的访问权限。他们的团队已更新其 ThunderKittens 软件,以利用 Vera Rubin 芯片的新功能,特别专注于优化 NVFP4 和 FP8 GEMM(通用矩阵乘法运算)。初步测试表明,虽然新平台将张量核心的 K 维度容量翻倍并增加了张量内存,但现有的 Blackwell 优化内核无法足够快地为核心提供数据,仅…

  19. TOOL · CL_216204 ·

    新的Im2win卷积方法提高了GPU性能和内存效率

    研究人员开发了一种增强版的Im2win卷积方法,旨在提高GPU上的内存效率和性能。该更新方法支持CUDA核心上的全精度和Tensor Core上的半精度,并结合了锯齿形内存访问和异步数据移动等优化。在十二项CNN任务上的基准测试显示出显著的改进,新的Im2win比仅限CUDA的版本实现了高达2.8倍的TFLOPS,并在速度和内存使用方面都优于标准的cuDNN和基于GEMM的卷积。

  20. TOOL · CL_195962 ·

    手写 PTX 内核在 NVIDIA L4 GPU 上为 INT8/INT4 GEMM 带来显著加速

    一篇新的研究论文探讨了在 NVIDIA L4 GPU 上使用手写 PTX(并行线程执行)内核进行 GEMM(通用矩阵乘法)运算的性能优势,与标准的 WMMA(Warp Matrix Multiply Accumulate)C++ API 相比。研究发现,虽然手写 PTX 在 FP16 精度下没有带来加速,但在 INT8(1.4倍-1.8倍)和 INT4(2.9倍-4.3倍)精度下实现了显著的性能提升。这些加速归因于指令数减少、全局内存…