NOTCH4

研究发现：低比特量化会增加LLM的推理Token数量

一篇新发表在arXiv上的研究论文探讨了对大型语言模型进行低比特量化所带来的隐藏成本，尤其是在推理任务方面。研究表明，虽然量化可以保持准确性并降低每个Token的延迟，但它常常会导致推理生成的Token数量增加，从而抵消预期的加速效果。这种被称为“Token膨胀”的现象会导致更长的思维链、更多的中间步骤和语义重复的增加，最终影响实际的服务成本。研究还评估了缓解策略，并提出量化感知训练有望同时减少准确性下降和Token膨胀。