InferBench

InferBench 应用简化本地 LLM 性能测试

一款名为 InferBench 的新开源桌面应用程序已发布，旨在帮助用户确定哪些大型语言模型 (LLM) 可以在其本地 GPU 上运行以及运行速度如何。该工具自动化了下载模型、配置模型以获得最佳硬件性能以及测量关键指标（如首次 token 时间、每秒 token 数和 VRAM 使用量）的过程。InferBench 计算精确的 KV 缓存需求以预测最大上下文长度，并选择最佳量化，从而摆脱了猜测和手动测试。