F16 KV

Tesla P40：F16 KV 在 LLM 生成方面比 Q8 更快

r/LocalLLaMA 上的一个 Reddit 用户详细介绍了在 Tesla P40 GPU 上为大型语言模型使用 F16 KV 和 Q8 KV 之间的性能差异。分析表明，虽然 Q8 使用的 VRAM 更少，但 F16 KV 在生成 token 方面速度更快，尤其是在上下文小于 10 万 token 时。这是因为 F16 KV 可以直接利用张量核心，而 Q8 需要进行即时反量化，这会引入显著的计算开销。