FitLLM

FitLLM 为现代 LLM 提供准确的显存估算

一款名为 FitLLM 的新开源工具已被开发出来，可以更准确地估算运行大型语言模型 (LLM) 所需的显存 (VRAM)。传统的显存计算器通常使用简化的公式，该公式未能考虑滑动窗口或混合专家 (MoE) 层等架构差异，从而高估了现代模型的内存需求。FitLLM 通过读取模型的官方配置文件来精确计算 KV 缓存使用量，从而解决此问题，为用户提供更现实的估算，特别是对于显存有限的用户。