Beings

LLM 通过 WebGPU 在浏览器中运行，降低推理成本

一种新方法允许大型语言模型直接在网络浏览器中使用 WebGPU 和 Transformers.js 运行，无需服务器端推理。这种方法在 BEINGS 聊天室应用程序中得到演示，使用户能够在自己的设备上运行 AI 实体，从而显著降低运营成本。基准测试显示，WebGPU 在 3.6 亿参数模型上实现了 63 tokens/s 的速度，WASM 作为备选方案，但小型模型的性能可能低于托管替代方案。