Vramwise

Vramwise 工具在下载前估算大型语言模型（LLM）与GPU的兼容性

Vramwise 是一款新的免费工具，旨在帮助用户在下载特定的大型语言模型（LLM）之前，确定其是否能在其GPU或Mac上运行。该工具直接从Hugging Face分析模型参数和配置，提供各种量化模型的详细内存需求，包括权重、KV缓存和总内存使用量。它还估算性能，并支持混合专家模型和Apple Silicon限制等高级功能，为付费服务提供了更易于使用的替代方案。