WGPU

开发者用自定义 GPU 内核构建 Rust LLM 推理引擎

一位开发者创建了一个名为 aether 的基于 Rust 的 LLM 推理引擎，旨在通过自定义 WGSL GPU 内核实现高效的模型执行。该项目主要用于学习，支持 Llama 和 Mistral 等 GGUF 模型，并利用 WGPU 为各种后端实现 GPU 加速。它具有自定义的融合计算着色器，用于量化矩阵乘法，并包含一个与 OpenAI 兼容的 API 服务器，尽管 GPU 路径仍处于实验阶段。