PulseAugur
中
实时 19:59:07
实体 Gateway API Inference Extension

Gateway API Inference Extension

PulseAugur coverage of Gateway API Inference Extension — every cluster mentioning Gateway API Inference Extension across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_184254 ·

    LLM 路由策略提升 KV 缓存命中率，大幅降低延迟

    一种新的大型语言模型 (LLM) 路由策略旨在通过智能管理 KV 缓存来提高效率。与盲目分发请求的传统轮询负载均衡器不同，这种 KV 缓存感知方法将请求定向到已处理提示前缀的副本。这大大减少了冗余计算，如在 Go 模拟中所演示的，缓存命中率从 47% 提高到 85%，导致首次标记时间 (p50 TTFT) 减半，并且负载分布更均匀。