GitHub Open Source

WebLLM 通过 WebGPU 将 AI 模型引入浏览器

WebLLM 是一个新项目，它允许大型语言模型直接在 Web 浏览器中运行，并使用 WebGPU 进行硬件加速。这种客户端执行通过将所有 AI 计算保留在用户设备上，增强了用户隐私并降低了服务器成本。开发人员可以利用熟悉的 OpenAI API 调用以及 Llama 3 和 Phi 3 等各种开源模型，并支持流式传输和 JSON 模式等功能。