PulseAugur
实时 20:04:44
English(EN) OpenRouter vs Vercel vs LLMGateway Performance

AI网关速度测试:LLM Gateway 胜过 OpenRouter · 追踪到 1 个来源

一项对AI网关的性能基准测试发现,LLM Gateway 在首次令牌响应时间(TTFT)方面显著优于 OpenRouter。LLM Gateway 的中位数冷启动 TTFT 为 906 毫秒,热启动 TTFT 为 814 毫秒,而 OpenRouter 分别需要 1392 毫秒和 1232 毫秒。该基准测试使用了 Ronny Badilla 的开源脚本,测量了 DNS、TCP 连接、TLS 握手和 TTFB 等各种延迟组件,结果显示 OpenRouter 的开销发生在请求发送之后,而不是在连接建立过程中。 AI

影响 LLM Gateway 的卓越性能可能带来更快的用户体验,并可能影响AI基础设施提供商的采用趋势。

排序理由 对比AI网关性能的基准测试。[lever_c_demoted from research: ic=1 ai=0.7]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AI网关速度测试:LLM Gateway 胜过 OpenRouter · 追踪到 1 个来源

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · smakosh ·

    OpenRouter vs Vercel vs LLMGateway Performance

    <p>Every AI gateway adds a hop between your app and the model. The question that matters is what that hop costs at the moment your user is staring at a blank chat window: the time to first token. Most gateway latency debates skip the measurement and argue architecture — so we mea…