大型语言模型推理的主要成本驱动因素不是计算能力（FLOPs），而是内存带宽，尤其是在处理自回归解码过程中的KV缓存时。仅优化计算利用率会导致过度支出，因为与KV缓存所需的数据移动相比，每个token的实际算术运算非常少。需要进行架构更改，例如将预填充与解码分离，以及调整批处理大小和上下文大小，将内存带宽视为稀缺资源来有效管理成本。 AI
影响 通过关注内存带宽来优化LLM推理基础设施，可以显著降低运营成本并提高效率。
排序理由 该条目讨论了LLM推理成本的架构视角，侧重于内存带宽而非计算，而不是宣布新模型或产品。
- Arithmetic-intensity-guided fault tolerance for neural network inference on GPUs
- autoregressive decoding
- Decode
- FLOPS
- graphics processing unit
- KV cache
- memory bandwidth
- Roofline model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
