Task-Aware Quantization

新的 TAQ 框架为特定任务优化 LLM 精度

研究人员开发了任务感知量化 (TAQ)，一个旨在优化大型语言模型 (LLM) 特定任务精度分配的新框架。与应用统一量化的标准方法不同，TAQ 使用任务校准提示来识别并为固定比特预算下对给定任务最关键的 Transformer 层分配更高的精度。该方法旨在提高准确性-内存比率，并在各种基准测试中展示了收益，通过硬件吞吐量和延迟测量显示了实际部署的优势。