实体 vllm-dashboard

vllm-dashboard

PulseAugur coverage of vllm-dashboard — every cluster mentioning vllm-dashboard across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_320680 · Oct 25 · 11:07

新的 Go 工具简化了本地 LLM API 访问和监控

一位开发者发布了两个新的 Go 工具的 0.1.0 版本，旨在增强大型语言模型在本地的使用。第一个工具 llm-router 提供了一个单一的 OpenAI 兼容 API，可以与多个本地 LLM 服务器接口，包括运行 vLLM、TensorFold 和 LM Studio 的服务器。第二个工具 vllm-dashboard 提供 NVIDIA 和 AMD GPU 的性能指标的实时监控，例如每秒令牌数、首个令牌时间以及 KV 缓存使用情…