实体
InferBench
InferBench
PulseAugur coverage of InferBench — every cluster mentioning InferBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Inferbench 应用简化本地 LLM 基准测试
Inferbench 是一款新的桌面应用程序，旨在简化运行和基准测试本地大型语言模型 (LLM) 的过程。它将模型下载、引擎启动和性能测试整合到一个界面中，无需使用多个工具。该应用程序旨在为用户提供准确的、硬件特定的性能指标，例如每秒令牌数，而无需依赖云服务或 API 密钥。0.1.1 版本现已发布，支持 Qwen2.5-7B 等模型以及 Stable Diffusion 等图像模型。
-
InferBench 应用简化本地 LLM 性能测试
一款名为 InferBench 的新开源桌面应用程序已发布，旨在帮助用户确定哪些大型语言模型 (LLM) 可以在其本地 GPU 上运行以及运行速度如何。该工具自动化了下载模型、配置模型以获得最佳硬件性能以及测量关键指标（如首次 token 时间、每秒 token 数和 VRAM 使用量）的过程。InferBench 计算精确的 KV 缓存需求以预测最大上下文长度，并选择最佳量化，从而摆脱了猜测和手动测试。