Precision Numerics发布了Boole-1.7B,这是Qwen3-1.7B模型的1比特量化版本。该新模型拥有247 MB的显著更小的打包权重,比BF16模型小13.9倍。在10项任务的评估中,Boole-1.7B达到了BF16模型性能的85.9%,性能优于1比特的Bonsai-1.7B,并接近1.58比特的Bonsai-1.7B。该模型可用于本地使用、与vLLM或llama.cpp集成,并适用于低延迟任务。 AI
影响 为低延迟任务提供更小、更高效的模型,可能支持在资源受限设备上更广泛的部署。
排序理由 发布了具有性能基准的新量化模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →