实体
llama-swap
llama-swap
PulseAugur coverage of llama-swap — every cluster mentioning llama-swap across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LocalLLaMA 用户寻求 llama-swap 并发请求修复方案
一位 r/LocalLLaMA 子版块的用户正在寻求关于配置 llama-swap 以处理单个模型并发请求的帮助。他们已成功设置了支持多 GPU 的 Qwen 3.6 35B A3B，并通过 llama-server 启用了并发，但 llama-swap 似乎将请求串行化处理，而不是并行处理。用户已尝试各种配置选项和问题跟踪器但未成功，他们特别希望避免运行多个 llama-cpp 实例以节省 GPU 内存。
-
Reddit 用户寻求多用户本地 LLM 设置建议
Reddit r/LocalLLaMA 版块的一位用户正在寻求关于设置多用户本地 LLM 服务的建议。他们已经尝试了 vLLM 和 llama.cpp，并使用了 llama-swap 作为前端，但在并发和 API 密钥管理方面遇到了限制。该用户正在寻找开源软件推荐，以实现外部访问，包括 HTTPS、Web 聊天界面以及面向少于 10 个用户的密钥管理 API 访问。