IQ2_KT

使用2位量化技术将AI模型尺寸削减85%

一篇技术博文详细介绍了一种将AI模型（特别是Qwen3-4B模型）尺寸显著减小85%，同时保留其90%性能的方法。该技术涉及2位量化，将每个权重的可能值从256（对于8位）减少到仅4。博文解释了三种缓解精度损失的关键技巧：旋转权重以减少异常值，在量化过程中使用误差反馈以确保误差相互抵消，以及采用格子编码（trellis coding）来增加内存并扩展有效码本大小。