Leech-lattice quantization

Tetra LLM 量化实现每参数 2.7 比特，提升推理速度

研究人员开发了 Tetra，一种将大语言模型（LLM）量化至平均每参数 2.7 比特的新颖方法，显著降低了内存需求。该技术基于 leech-lattice 量化，通过优化码本结构并采用专门的内核来最小化 GPU 内存加载的数据，从而实现这一目标。使用 Tetra 量化的模型，如 Qwen3 变体，在 MMLU 和 GSM8K 等基准测试中表现出与更高比特量化方法相当的性能，仅有轻微下降，同时在推理速度方面显示出显著提升。