PrismML 发布了 Bonsai 27B,这是 Qwen3.6-27B 的高度压缩版本,专为在消费级硬件上高效运行而设计。该模型采用三元和 1 位权重表示,分别将模型大小减至 5.9GB 和 3.9GB,同时保留了原始模型相当一部分的性能。这些低位构建版本是多模态的,并支持大上下文窗口,使其适用于内存有限的设备,如笔记本电脑和手机。 AI
影响 使在内存有限的消费设备上运行大型语言模型成为可能,可能拓宽其可访问性和用例。
排序理由 发布了新颖的高度压缩模型变体,并附有性能指标。[lever_c_demoted from research: ic=1 ai=1.0]
- AIME26
- Apache 2.0
- Apple Silicon
- BitNet
- Bonsai 27B
- DSpark
- EvalScope
- Gemma-4-31B
- FP16
- HQQ
- iOS
- LiveCodeBench
- MATH-500
- MMLU-Redux
- OpenAI
- PrismML
- Qwen3.6-27B
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →