Reddit r/LocalLLaMA 版块的一位用户正在寻求关于设置多用户本地 LLM 服务的建议。他们已经尝试了 vLLM 和 llama.cpp，并使用了 llama-swap 作为前端，但在并发和 API 密钥管理方面遇到了限制。该用户正在寻找开源软件推荐，以实现外部访问，包括 HTTPS、Web 聊天界面以及面向少于 10 个用户的密钥管理 API 访问。 AI
影响 不适用
排序理由 用户生成内容，寻求关于现有技术的建议，而非新发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Context: I am testing and running local LLM on Linux for some months, first with llama.cpp and now with vLLM for better concurrent capabilities. I use llama-swap in front of either vLLM or llama.cpp in order to have thinking and non-thinking vari…