LLMeter 是一款新的命令行界面工具,旨在衡量大型语言模型 (LLM) 在用户特定硬件和配置上的性能。与在优化过的远程机器上测试模型的传统排行榜不同,LLMeter 侧重于实际运行环境,考虑了量化、提供商软件(例如 Ollama、LM Studio)和硬件特定因素。它提供了用于聊天生成、响应一致性、计时、结构化输出和工具调用的各种基准测试,并为调整部署提供了额外的性能配置文件。 AI
影响 使用户能够准确地在其自己的硬件上对 LLM 性能进行基准测试,从而改进部署调整和可靠性。
排序理由 该项目描述了一个用于衡量 LLM 性能的新软件工具。
- Jan
- LiteLLM
- Llama~3.1
- llama.cpp
- LLMeter
- LM Studio
- LocalAI
- mlx-lm
- Ollama
- OpenAI
- Rust
- SGLang
- Text Generation Inference
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →