实体 llm0-gateway

llm0-gateway

PulseAugur coverage of llm0-gateway — every cluster mentioning llm0-gateway across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_54810 · May 27 · 13:00

Go LLM 网关使用 Redis Lua 实现速度和原子性

一位开发者开源了一个名为 llm0-gateway 的 LLM 网关，该网关用 Go 构建，旨在为包括 OpenAI、Anthropic、Gemini 和本地 Ollama 实例在内的各种 LLM 提供商提供统一的 OpenAI 兼容端点。该网关优先考虑速度和效率，通过利用 Redis 内的原子 Lua 脚本进行 API 密钥认证、速率限制和支出上限执行等关键操作，实现了低延迟和高吞吐量。这种方法避免了在朴素的串行请求处理中常见的性能…