Ben Houston 开发了 Three-LLM，一个基于 WebGPU 的推理引擎，允许大型语言模型 (LLM) 在 Web 浏览器内本地运行。该项目利用 Three.js 及其 WebGPU 功能直接在用户的 GPU 上执行 LLM 推理，支持 GPT-2、SmolLM2、Phi、Qwen 和 Llama 架构等各种模型。已实施了重要的性能优化，包括减少命令提交和重用提示前缀，这带来了显著的速度提升，例如 TinyStories 解码性能提高了 4.7 倍。这一进展凸显了浏览器作为 AI 推理计算平台的潜力日益增长，对隐私、延迟和离线应用都有影响。 AI
影响 通过直接在浏览器中运行 LLM，实现注重隐私、低延迟的 AI 体验。
排序理由 展示了现有网络技术（WebGPU、Three.js）在本地 LLM 推理方面的新颖应用，而不是来自前沿实验室的发布或行业范围内的重大事件。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
