StudioTV LLM VRAM Calculator

新的计算器准确估算LLM GPU内存需求

一款名为 StudioTV LLM VRAM Calculator 的新计算器已被开发出来，用于准确估算运行大型语言模型所需的GPU内存。与之前经常高估内存需求的旧方法不同，该工具考虑了针对各种现代模型架构（如滑动窗口、线性、潜在和压缩注意力）的复杂KV缓存分配。该计算器支持Hugging Face的众多模型、各种GPU配置和不同的推理引擎，并提供关于内存使用、速度以及与API服务相比的成本效益的详细见解。