GPU Advisor

量化 LLM KV 缓存至 FP8 以将 128K 上下文装入消费级 GPU

一份技术指南解释了如何通过将大型语言模型的 KV 缓存量化为 FP8 格式来减小其内存占用。此方法通过 vLLM 框架中的单个标志实现，可以显著降低 VRAM 要求，可能允许具有 128K 上下文窗口的模型在 4090 等消费级 GPU 上运行。尽管有效，但指南指出建议进行校准以达到生产质量，硬件支持各不相同，并且应在特定的长上下文任务上测量性能。