Phi-3-mini-4k-instruct-q4f16_1-MLC

尽管 WebGPU 取得进展，但浏览器 LLM 面临加载时间和质量障碍

一位开发者探索了使用 WebGPU 直接在网页浏览器中运行用于实时写作教练的大型语言模型（LLM）。虽然像 Phi-3-mini 这样的量化 3.8B 参数模型是可行的，但出现了显著的挑战，尤其是在初始加载时间方面，在移动设备上可能超过 90 秒。通过在入职期间进行积极缓存和预热有助于缓解这一问题，但内存限制和设备之间不同的 WebGPU 功能迫使回退到更小的模型，从而影响了教练反馈的质量。