tilequant

TileQuant框架优化LLM量化以实现更快的推理

研究人员开发了TileQuant，一个新颖的训练后量化框架，旨在通过在瓦片级别分配精度来优化大型语言模型（LLM）的部署。该方法分析二维瓦片内的权重敏感性，允许关键瓦片使用更高精度，而其他瓦片使用较低精度，从而在不显著降低质量的情况下减少计算开销。实验表明，TileQuant可以将生成吞吐量提高高达2.66倍，同时在各种语言任务中保持或提高性能。