Meganeura

新研究优化跨不同GPU和硬件的LLM推理

研究人员正在开发新的方法来优化跨不同硬件的大型语言模型（LLM）推理和训练。Meganeura旨在通过Vulkan和Metal实现便携式GPU训练和推理，并展示出与供应商特定解决方案相比具有竞争力的性能。Celty通过共同设计GPU内核和SIMT微架构以实现稀疏矩阵-稀疏向量工作负载，专注于高效的双稀疏LLM推理。此外，一种新的分析方法无需直接测量即可估算GPU上LLM推理的能耗，有助于可持续性分析。