torch.OutOfMemoryError

大模型显存解析：量化模型为何仍会导致显存溢出

部署大型语言模型（LLM）时，即使模型的量化大小似乎能容纳，也常常会导致GPU出现意外的显存溢出错误。这是因为模型权重仅占总显存需求的很小一部分。罪魁祸首是KV缓存、激活缓冲区和运行时开销，它们加起来可能使内存占用翻倍甚至三倍。具体来说，一个量化到4位的70B参数模型，其权重可能在35-40GB左右，但拥有64K上下文窗口和2的批处理大小，仅KV缓存就可能推高到近40GB，导致需要80GB以上的显存。