Precision Numerics

Precision Numerics发布性能超越Bonsai-1.7B的1比特Boole-1.7B模型

Precision Numerics发布了Boole-1.7B，这是Qwen3-1.7B模型的1比特量化版本。该新模型拥有247 MB的显著更小的打包权重，比BF16模型小13.9倍。在10项任务的评估中，Boole-1.7B达到了BF16模型性能的85.9%，性能优于1比特的Bonsai-1.7B，并接近1.58比特的Bonsai-1.7B。该模型可用于本地使用、与vLLM或llama.cpp集成，并适用于低延迟任务。