Ben Houston

浏览器 LLM 推理引擎 Three-LLM 利用 WebGPU 进行本地执行

Ben Houston 开发了 Three-LLM，一个基于 WebGPU 的推理引擎，允许大型语言模型 (LLM) 在 Web 浏览器内本地运行。该项目利用 Three.js 及其 WebGPU 功能直接在用户的 GPU 上执行 LLM 推理，支持 GPT-2、SmolLM2、Phi、Qwen 和 Llama 架构等各种模型。已实施了重要的性能优化，包括减少命令提交和重用提示前缀，这带来了显著的速度提升，例如 TinyStories…