实体
Llm D
Llm D
PulseAugur coverage of Llm D — every cluster mentioning Llm D across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
llm-d 路由层将 AWS EKS 上 Qwen 7B 的推理速度提升 2.3 倍
一个名为 llm-d 的新路由层在 LLM 推理方面取得了显著的速度提升，特别是在 AWS EKS 上使用 Qwen2.5-7B-Instruct 模型时。通过智能地将请求路由到可能已经缓存了必要前缀数据的 vLLM 副本，llm-d 将基准测试完成时间缩短了一半以上，吞吐量增加了一倍多。这种方法解决了当请求在副本之间随机分布时重复前缀计算的低效率问题，从而大大缩短了首次令牌的平均时间。
-
Google为LLM赋能OSS生产Kubernetes推理
Google通过为llm-d添加夜间CI，增强了其开源生产Kubernetes推理能力。这一发展被视为朝着在生产环境中更广泛地采用大型语言模型迈出的重要一步。