PrismML
PulseAugur coverage of PrismML — every cluster mentioning PrismML across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
PrismML will release a tool-calling optimized version of Bonsai within 12 months
The noted degradation in agentic tasks for Bonsai 27B presents an opportunity for PrismML to further refine its model. A future release focusing on improving tool-calling capabilities while maintaining the small footprint could address a key limitation and broaden the model's applicability.
PrismML's Bonsai 27B shows degradation in agentic tasks
The recent release of PrismML's Bonsai 27B highlights a trade-off in its novel 1-bit training approach: while it achieves a significantly smaller footprint for offline mobile use, it exhibits degraded performance in agentic tasks like tool-calling. This suggests that for applications requiring complex multi-step reasoning or interaction with external tools, the current iteration of Bonsai 27B may not be suitable.
PrismML's Bonsai 27B will be integrated into a major mobile OS within 6 months
Given Apple's reported evaluation of PrismML's technology and the explicit mention of Bonsai 27B running on iPhones, it is plausible that Apple or another major mobile OS provider will announce an integration of this technology within the next six months. This would leverage the benefits of on-device AI for privacy and cost.
Apple's evaluation of PrismML's technology is a strong indicator of potential integration or acquisition.
Multiple clusters mention Apple's active exploration and discussions with PrismML regarding AI model shrinking and 1-bit architecture. The CEO's statement about Apple evaluating PrismML's technology, combined with reports of Apple exploring PrismML's 1-bit architecture for future iPhones, suggests a high likelihood of a deeper partnership, licensing deal, or even an acquisition.
PrismML's Bonsai 27B will see adoption by other mobile OS providers or hardware manufacturers within 90 days.
The breakthrough in running a 27B parameter model on an iPhone with minimal performance loss is a significant achievement. This technology has broad applicability beyond Apple's ecosystem. Other mobile OS providers (e.g., Google for Android) or chip manufacturers looking to enhance on-device AI capabilities could seek to license or adopt PrismML's optimization techniques.
-
三元大语言模型随着小型实验室的新模型而复苏
近期发展表明，三元（1.58位）大语言模型正在复苏，一些小型实验室发布了多个新模型。其中包括prismML的27B三元模型、Deepgrove的20B Maple模型以及Doses AI的27B Pestle模型，后者专门用于医疗应用。虽然这些模型显示出希望，尤其是在速度和特定任务性能方面，但它们目前在长时序代理任务方面面临挑战，开发人员旨在通过未来的强化学习优化来解决这些问题。
-
PrismML 教程详解低 VRAM Bonsai-27B 模型部署
PrismML 发布了一份教程，详细介绍了其 Bonsai-27B 模型的部署。该 1 位量化语言模型专为在消费级 GPU 上运行而设计，仅需 5.2 GB VRAM。教程包括与 llama.cpp 集成、设置兼容 OpenAI 的服务器以及性能基准测试的说明。
-
使用 PrismML llama.cpp 和兼容 OpenAI 的服务器部署 1-Bit Bonsai-27B 模型
本教程详细介绍了使用 llama.cpp 的专用分支部署 1-bit Bonsai-27B 语言模型，该分支包含针对其独特量化格式的 CUDA 内核。该过程包括设置环境、编译必要的推理二进制文件以及从 Hugging Face 下载模型权重。然后，用户可以通过命令行界面或兼容 OpenAI 的本地推理服务器与模型进行交互，并提供流式响应、多轮对话和多模态扩展等高级配置选项。
-
27B 人工智能模型在 Jetson Orin NX 16GB 上本地运行
一位用户成功地在 Jetson Orin NX 16GB 设备上本地运行了 Bonsai 27B 语言模型，尽管硬件有限，但仍实现了可用的单用户应用程序性能。该设置涉及 PrismML 的 llama.cpp 分支的自定义构建，以支持该模型独特的 1 位量化格式，因为 Ollama 等标准工具不支持。虽然英语推理表现尚可，但该模型在非英语语言方面遇到了困难，这表明极端的压缩会影响多语言能力。
-
PrismML 发布 Bonsai 27B，一款用于离线移动使用的 27B LLM
PrismML 发布了 Bonsai 27B，这是一款拥有 270 亿参数的大型语言模型，能够离线运行在 iPhone 17 Pro Max 等移动设备上。该模型通过新颖的 1 位训练方法而非传统量化实现了小巧的体积，文件大小为 3.9GB。虽然它在推理和代码生成方面保持了强大的能力，但在工具调用等代理任务方面表现有所下降。Bonsai 27B 可通过浏览器中的 WebGPU 访问，或与 OpenAI 兼容的客户端集成。
-
AI模型在iPhone上运行，将270亿参数压缩至4GB以下
PrismML是一家从加州理工学院分拆出来的初创公司，开发了Bonsai 27B，一个拥有278亿参数的AI模型，能够处理文本和图像，并可直接在iPhone上运行。这是通过一种极端的量化技术实现的，将大多数参数压缩至单个比特，从而将模型的内存占用显著缩小至4GB以下，同时保留了90%以上的原始性能。虽然事实回忆能力受到影响，但推理和编码能力依然强大，并且设备端运行提供了零查询成本、增强的隐私和离线功能等优势，吸引了包括Apple在内的公司关注。
-
PrismML将270亿参数大型语言模型压缩以实现在iPhone上的本地运行
PrismML已成功将其Bonsai 27B大型语言模型压缩至3.9GB文件大小，使其能够在iPhone上本地运行。这一成就保持了原始模型约95%的性能，代表了设备端人工智能和数据隐私的重大进步，特别是对于寻求安全、离线人工智能解决方案的日本企业而言。
-
PrismML 发布 Bonsai 27B，首个适用于 iPhone 的大型 AI 模型
PrismML 宣布发布其 Bonsai 27B AI 模型，该公司声称这是首个能够运行在 iPhone 上的同等规模的大型模型。该公司首席执行官还表示，Apple 正在评估 PrismML 的技术。Bonsai 27B 模型旨在运行在包括 iPhone、iPad 和 Mac 在内的各种 Apple 设备上。
-
Bonsai-Ternary-27B 模型可在 16GB GPU 上本地运行复杂的 AI 任务
一位用户分享了在 4060Ti 16GB GPU 上本地运行 Bonsai-Ternary-27B 模型以进行知识库管理和生产力任务的经验。该模型成功处理了复杂的任务，包括查询、信息综合以及与自定义项目管理系统交互，甚至处理了图像数据。虽然它展示了良好的推理和工具使用能力，但其性能受到比预期慢的预填充速度（600-700tk/s）和显著的 KV 缓存使用率的阻碍，即使经过量化，也将上下文窗口限制在 150k 个 token。
-
Apple Inc. 考虑使用PrismML为更大的iPhone端侧AI模型
据报道，Apple Inc. 正在考虑集成PrismML的技术，以增强其iPhone的端侧AI能力。此举可能使该公司能够直接在设备上部署更大的AI模型，例如一个270亿参数的模型。
-
苹果正与PrismML洽谈，以实现iPhone上的设备端AI
据报道，苹果公司正与专注于AI模型压缩的初创公司PrismML进行讨论。这些洽谈旨在使复杂的AI模型能够直接在iPhone等设备上运行。此次合作有望显著增强设备端的AI能力，减少对云处理的依赖。
-
Bonsai 27B 模型可在手机上运行；Google 的 Gemma 4 针对 Pixel 10 进行了优化
PrismML 发布了 Bonsai 27B，一个拥有 270 亿参数的模型，通过利用 1 位和三元权重，其大小可减小到 6GB 以下，从而可以在智能手机上运行。该模型支持多步推理和工具使用等复杂任务。另外，Google 宣布了 Gemma 4 E2B，该模型针对 Pixel 10 的 TPU 进行了优化，实现了离线深度对话和图像识别等设备端 AI 功能。AI 工程领域也正在走向成熟，编码代理和强大的评估框架等趋势正成为主流。
-
PrismML 发布 Bonsai 27B，使 Qwen3.6-27B 可在笔记本电脑和手机上运行
PrismML 发布了 Bonsai 27B，这是 Qwen3.6-27B 的高度压缩版本，有 1 位和三元变体。这些模型旨在在笔记本电脑和手机等消费级硬件上运行，其中 1 位版本仅需 3.9GB，三元版本需要 5.9GB。尽管经过了激进的压缩，三元模型仍保留了原始 FP16 模型约 94.6% 的性能，而 1 位版本则保留了 89.5%，使其适用于需要大上下文窗口和高效内存使用的应用程序。
-
PrismML 将 27B AI 模型压缩至可在智能手机上运行
PrismML 开发了 Bonsai 27B，一个拥有 270 亿参数的多模态 AI 模型，已压缩至约 3.9 GB，使其能够在手机上运行。通过 1 位量化等技术实现的显著压缩，使该模型能够保留约 90% 的原始基准性能，在数学方面表现尤为突出。虽然该模型可以安装在高端智能手机上，但其实际日常使用仍受内存缓存和持续性能等因素的影响。
-
Apple与PrismML洽谈以缩小AI模型规模
据报道，Apple Inc.正在与专注于AI模型优化的公司PrismML进行讨论。此次潜在合作旨在开发缩小大型AI模型的方法，这可能有助于在计算资源有限的设备上更有效地部署这些模型。此举符合Apple将先进AI功能直接集成到其硬件中的战略。
-
PrismML的Bonsai 27B模型可在iPhone上运行，效率有所提升
PrismML发布了Bonsai 27B，一个拥有270亿参数的AI模型，可以在iPhone 17 Pro等移动设备上运行，仅需3.9GB内存。该模型的一个1位变体因其效率而受到关注，但据报道与Qwen 3.627B基线相比性能有所下降。
-
Bonsai 27B：1位LLM在浏览器中运行，缩小至3.8GB
PrismML团队发布了Bonsai 27B，这是一款1位量化的LLM，可以在Web浏览器本地运行。该量化技术将模型大小从54GB减少到3.8GB，同时据称保留了其90%的原始智能。该模型利用自定义WebGPU内核进行高效执行，并在Hugging Face上提供了演示。
-
初创公司将 270 亿参数 AI 模型压缩至可在 iPhone 上运行
Khosla 投资的初创公司 PrismML 开发了一种方法，可以显著压缩大型 AI 模型，使其能够在 iPhone 等移动设备上运行。他们压缩后的阿里巴巴 Qwen 3.6 模型（拥有 270 亿参数）现在足够小（低于 4GB），可以在 iPhone 17 Pro 上运行，执行聊天、推理和编码等复杂任务。这项源自加州理工学院研究的突破旨在将 AI 处理从云端转移到本地设备，从而从根本上改变 AI 经济。
-
Apple探索iPhone 17 Pro的1位AI架构
据报道，Apple Inc.正在探索集成PrismML的1位架构技术。这种潜在的集成可能使iPhone 17 Pro能够在本地执行高级AI任务，能耗显著降低高达75%。此举标志着向更高效的设备端AI处理迈进。
-
苹果探索PrismML技术以在iPhone上实现设备端AI
据报道，苹果公司正与专注于缩小大型AI模型以实现设备端功能的初创公司PrismML进行讨论。目标是让iPhone能够在不依赖外部服务器的情况下运行更强大的AI模型。此举有望通过将先进的AI处理能力直接带给用户，从而显著增强移动设备的功能。