80 GiB

LLM 解码速度：带宽和 KV 缓存限制 H100 上的性能

一项技术分析显示，对于在 NVIDIA H100 等硬件上运行的大型语言模型，批处理大小为一时，解码速度主要由内存带宽决定，而非计算能力。“脊柱批处理”计算表明，随着上下文长度的增加，KV 缓存成为瓶颈，即使进行批处理，模型也会受限于内存。这限制了实际的 token 生成速率，并根据 Qwen3-32B 和 Llama-3.3-70B 等模型的权重和 KV 缓存需求计算出了具体的上限。