Q5_K

新的ExTernD方法在低比特宽度下实现了接近bfloat16精度的LLM

研究人员开发了ExTernD，一种新颖的大型语言模型（LLM）训练后量化方法，将权重矩阵分解为三元因子。该技术通过使用扩展的内秩来纠正量化误差，从而在低有效比特宽度下实现接近bfloat16的精度水平。ExTernD在Gemma-4-E2B和Qwen3.5-4B等模型上实现了与Q4_K和Q5_K量化相当的性能，提供了精度、内存和计算之间的灵活权衡。