开发者 Eladser 发布了 mtop 的 1.6 版本,mtop 是一款用于监控本地大型语言模型 (LLM) 服务器的终端工具。此次更新引入了实时请求跟踪,显示每秒令牌的实时速率以及首个令牌和解码的详细计时信息。mtop 现在还提供了模型减速的具体原因,例如由于 VRAM 不足导致模型部分在 CPU 上执行、上下文窗口限制或服务器请求排队。此外,它还可以检测 NVIDIA GPU 是否因过热或功率限制而降速。 AI
影响 为开发者提供了对本地 LLM 部署性能的更好可见性,有助于故障排除和优化。
排序理由 用于监控本地 LLM 服务器的实用工具的新版本发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →