PrismML团队发布了Bonsai 27B，这是一款1位量化的LLM，可以在Web浏览器本地运行。该量化技术将模型大小从54GB减少到3.8GB，同时据称保留了其90%的原始智能。该模型利用自定义WebGPU内核进行高效执行，并在Hugging Face上提供了演示。 AI
影响 实现了更易于访问的本地LLM部署，可能降低用户的硬件门槛。
排序理由 发布了一款新颖的量化模型，专注于本地、浏览器内执行。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1uwfva9/bonsai_27b_1bit_dense_llm_running_locally_in_your/"> <img alt="Bonsai 27B: 1-bit dense LLM running locally in your browser using custom WebGPU kernels" src="https://external-preview.redd.it/cGZwaWYxanQ…