PulseAugur
中
实时 16:05:55
English(EN) Running a 27B Parameter LLM Locally on Mobile with Bonsai 27B

PrismML 发布 Bonsai 27B，一款用于离线移动使用的 27B LLM

作者 PulseAugur 编辑部 · [1 个来源] ·

PrismML 发布了 Bonsai 27B，这是一款拥有 270 亿参数的大型语言模型，能够离线运行在 iPhone 17 Pro Max 等移动设备上。该模型通过新颖的 1 位训练方法而非传统量化实现了小巧的体积，文件大小为 3.9GB。虽然它在推理和代码生成方面保持了强大的能力，但在工具调用等代理任务方面表现有所下降。Bonsai 27B 可通过浏览器中的 WebGPU 访问，或与 OpenAI 兼容的客户端集成。 AI

影响 使更强大的 AI 应用能够直接在移动设备上运行，增强了隐私性并减少了对云基础设施的依赖。

排序理由 这是特定 LLM 模型的发布，但它来自一个不太知名的实验室，并未定位为前沿发布。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

PrismML 发布 Bonsai 27B，一款用于离线移动使用的 27B LLM

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Lightning Developer ·

    Running a 27B Parameter LLM Locally on Mobile with Bonsai 27B

    <p>Running large language models directly on mobile devices has long been a dream due to hardware constraints. With the release of Bonsai 27B by PrismML, that dream has become a concrete reality. Achieving a footprint of just 3.9GB, this 27-billion-parameter model can operate ent…

相关实体

相关话题