Q5_K

ExTernD 技术在较低比特宽度下为 LLM 提供接近 bf16 的精度 · 跟踪 4 个来源

研究人员开发了 ExTernD，一种用于大型语言模型 (LLM) 的新型训练后量化技术。该方法将 LLM 权重矩阵分解为三元因子和一个对角缩放向量，从而扩展了内部秩以纠正量化误差。ExTernD 在 Gemma-4-E2B 和 Qwen3.5-4B 等模型上，展示了与 Q4_K 和 Q5_K 等更高比特宽度量化方法相当的精度，同时保持了高效的内存和计算使用。