ggufit

新的CLI工具ggufit帮助估算本地LLM的VRAM需求

一位开发者创建了一个名为ggufit的单文件Python CLI工具，以帮助用户估算运行本地LLM所需的VRAM。该工具分析.gguf模型文件或提供的参数来计算所需的VRAM，并考虑KV缓存和可用的GPU内存，从而防止内存不足（OOM）错误。ggufit旨在简化在下载模型之前确定模型是否适合用户硬件的过程，提供诸如“TIGHT”或“WON'T FIT”之类的判断，并建议调整上下文长度或层卸载。