WayPoint

新的Waypoint模型优化CPU上的GEMM以加速LLM推理

研究人员开发了Waypoint，一个旨在优化CPU上通用矩阵乘法（GEMM）性能的分析模型。通过考虑内存层次结构和多线程等架构因素，Waypoint识别GEMM操作的最佳分块大小。该模型已集成到OPAM GEMM库中，该库在性能上可与现有库相媲美，并在加速CPU上大型语言模型（LLM）推理方面实现了1.36倍至1.98倍的显著提速。