PrismML已成功将其Bonsai 27B大型语言模型压缩至3.9GB文件大小，使其能够在iPhone上本地运行。这一成就保持了原始模型约95%的性能，代表了设备端人工智能和数据隐私的重大进步，特别是对于寻求安全、离线人工智能解决方案的日本企业而言。 AI
影响 使更强大的人工智能应用程序能够直接在移动设备上运行，增强了隐私和离线功能。
排序理由 该发布是一个用于设备端执行的压缩模型，属于'工具'类别，而非前沿发布。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
A 27-billion parameter LLM running locally on your phone? PrismML just shrunk its Bonsai 27B model to 3.9GB, making on-device execution a reality for iPhones. By retaining up to 95% of full-precision performance, this 1-bit model is a massive win for data sovereignty. It’s a majo…