Qwen/Qwen2.5-72B-Instruct

FP8量化成本节省因模型输出问题而产生误导

一位开发者发现，在AMD MI300X GPU上使用vLLM进行FP8量化，特别是针对Qwen2.5模型，导致GPU成本显著降低了47%。然而，这种成本节省具有误导性，因为模型开始输出重复的垃圾标记，而不是有意义的响应。在使用预量化的FP8模型时，成本节省更为适度（约33%），但模型的输出质量保持不变。开发者建议在应用量化后，检查输出长度和在temperature为0下的几个固定提示，以确保模型完整性，而不是仅仅依赖每token成本指标。