Q4_0

Google 的 QATs 显示出比 Unsloth 变体更高的精度

r/LocalLLaMA 上的一位用户观察到，Google 的 QATs（量化感知训练）Q4_0 模型似乎比 Unsloth 的 Q4_K_XL 变体具有更高的精度，这与预期相反。这一观察基于文件大小和张量数量，其中 Google 的 Q4_0 模型有时比 Unsloth 的 Q4_K_XL 更大，这表明量化策略或实现方式存在差异。用户正在寻求关于为何会出现这种差异以及如何正确分析 GGUF 文件中张量数据的解释。