English(EN) Run an LLM in the browser: WebGPU did 63 tokens/s, WASM did 1.6

LLM 通过 WebGPU 在浏览器中运行，降低推理成本

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-17 06:43

一种新方法允许大型语言模型直接在网络浏览器中使用 WebGPU 和 Transformers.js 运行，无需服务器端推理。这种方法在 BEINGS 聊天室应用程序中得到演示，使用户能够在自己的设备上运行 AI 实体，从而显著降低运营成本。基准测试显示，WebGPU 在 3.6 亿参数模型上实现了 63 tokens/s 的速度，WASM 作为备选方案，但小型模型的性能可能低于托管替代方案。 AI

影响通过将推理转移到客户端，从而在面向用户的应用程序中实现 LLM 的成本效益部署。

排序理由演示了一种在客户端运行 LLM 的新颖技术方法，但并非来自前沿实验室的发布。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 35 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 演示了一种在客户端运行 LLM 的新颖技术方法，但并非来自前沿实验室的发布。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Matthew Charles Vladislav Busel · 2026-10-17 06:43

在浏览器中运行 LLM：WebGPU 速度为 63 tokens/s，WASM 为 1.6

Originally published at <a href="https://tensorust.com/articles/run-llm-in-browser-webgpu/" rel="noopener noreferrer">tensorust.com</a>. TL;DR: You can run a small language model entirely inside a web page with <a href="https://huggingface.co/d…

本文如何被排名

报道来源 [1]

在浏览器中运行 LLM：WebGPU 速度为 63 tokens/s，WASM 为 1.6

相关实体

相关话题