Agent Infra Guide

估算本地部署大语言模型所需的显存

在本地运行大语言模型需要仔细考虑显存，因为参数数量本身并不是一个充分的指标。实际估算方法包括计算模型的权重内存基数，即参数数量乘以每参数位数再除以八。然后，必须在此基础上增加运行时分配的内存，通常为20%左右，以及用于KV缓存的额外内存，这受上下文窗口大小和模型架构的影响。最后，总估算需求应与图形处理单元上可用的内存进行比较，同时考虑系统内存和Apple Silicon统一内存等特定硬件。