PrismML 发布了 Bonsai 27B,这是 Qwen3.6-27B 的高度压缩版本,有 1 位和三元变体。这些模型旨在在笔记本电脑和手机等消费级硬件上运行,其中 1 位版本仅需 3.9GB,三元版本需要 5.9GB。尽管经过了激进的压缩,三元模型仍保留了原始 FP16 模型约 94.6% 的性能,而 1 位版本则保留了 89.5%,使其适用于需要大上下文窗口和高效内存使用的应用程序。 AI
影响 通过大幅减小内存占用,使大型语言模型能够在消费设备上运行,可能加速本地 AI 的部署。
排序理由 来自实验室(PrismML)的模型发布,具有特定的性能指标和硬件目标。[lever_c_demoted from frontier_release: ic=2 ai=1.0]
- AIME26
- Apache 2.0
- Apple Silicon
- BitNet
- Bonsai 27B
- DSpark
- EvalScope
- Gemma-4-31B
- FP16
- HQQ
- iOS
- LiveCodeBench
- MATH-500
- MMLU-Redux
- OpenAI
- PrismML
- Qwen3.6-27B
- vLLM
- Bonsai-27B-gguf
- llama.cpp
- Qwen 3.6 27b
- Ternary-Bonsai-27B-gguf
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →