Evangelos Georganas

空间填充曲线简化了通信规避矩阵乘法

一篇新的研究论文介绍了空间填充曲线（SFC）作为一种方法，用于简化和优化高性能计算和深度学习的通信规避通用矩阵乘法（CA-GEMM）。该方法实现了平台无关和形状无关的矩阵乘法方案，并提高了数据局部性。SFC-CA GEMM算法展示了可证明的渐近通信最优性，并在x86和Arm平台上比供应商库的性能高出5.5倍。其在LLM推理预填充中的应用显示速度提升高达1.85倍，在分布式内存矩阵乘法中，速度提升高达2.3倍。