开发者创建了llama-dash，一个用于自托管本地LLM运维的仪表板和日志代理。该工具旨在为本地推理栈提供模型使用可见性、请求日志记录和范围访问控制。它通过代理兼容OpenAI和Anthropic的API端点，记录带有成本估算的请求，并提供速率限制、模型允许列表和基于UI的模型管理等功能。 AI
影响 为运行本地LLM推理栈的用户提供增强的控制和可见性。
排序理由 用于管理本地LLM基础设施的新软件工具发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>I've been building llama-dash, a single-pane dashboard and logging proxy for a self-hosted local inference stack. </p> <p>I run llama-swap + llama.cpp on a box at home and got tired of having zero visibility — no request log, no idea which model was loaded when, no way to hand…