QuantCall

量化对 LLM 工具调用的影响在低端硬件上进行了测量

一项新的基准测试 QuantCall 被开发出来，用于评估量化对小型语言模型工具调用能力的影响。该基准测试在 4GB 笔记本 GPU 上运行，发现模型家族比模型大小更能预测量化下的性能。具体来说，Qwen3-0.6B 在 Q4 量化下仍能很好地保持模式有效性，而 Llama-3.2-1B 即使在更高量化水平下也表现出脆弱的模式有效性。研究还表明，更难的多工具任务会加剧量化引起的性能下降，并且受限解码或不同的服务后端并未显著改善结果。