一篇新的研究论文介绍了空间填充曲线(SFC)作为一种方法,用于简化和优化高性能计算和深度学习的通信规避通用矩阵乘法(CA-GEMM)。该方法实现了平台无关和形状无关的矩阵乘法方案,并提高了数据局部性。SFC-CA GEMM算法展示了可证明的渐近通信最优性,并在x86和Arm平台上比供应商库的性能高出5.5倍。其在LLM推理预填充中的应用显示速度提升高达1.85倍,在分布式内存矩阵乘法中,速度提升高达2.3倍。 AI
影响 优化LLM推理预填充,可能加速大型语言模型的部署并降低计算成本。
排序理由 研究论文,详细介绍了矩阵乘法的一种新颖算法方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Arm Holdings
- Deep Learning
- Evangelos Georganas
- GEMM
- high-performance computing
- LLM inference
- SFC-CA GEMM
- Space Filling Curves
- x86
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →