Nvidia GeForce RTX 3060

LLM VRAM 需求：超越权重，关注 KV 缓存和模型差异

在本地运行 Llama 3 和 Gemma 等大型语言模型需要仔细考虑 VRAM 使用情况，这不仅包括模型权重，还包括 KV 缓存和开销。KV 缓存对于在文本生成过程中保持上下文至关重要，它会随着提示长度而扩展，并且在更高的上下文窗口下，其占用内存可能远远超过模型权重所需的内存。例如，在 128K 上下文下运行 Llama 3 8B 需要一张 24GB 的显卡，而 Gemma 2 9B 由于 KV 缓存更大，尽管参数数量相似，但比 L…