一个名为 llm-d 的新路由层在 LLM 推理方面取得了显著的速度提升，特别是在 AWS EKS 上使用 Qwen2.5-7B-Instruct 模型时。通过智能地将请求路由到可能已经缓存了必要前缀数据的 vLLM 副本，llm-d 将基准测试完成时间缩短了一半以上，吞吐量增加了一倍多。这种方法解决了当请求在副本之间随机分布时重复前缀计算的低效率问题，从而大大缩短了首次令牌的平均时间。 AI
影响 优化 LLM 推理基础设施，可能降低运营成本并改善使用 Qwen2.5-7B-Instruct 等模型的应用程序的响应时间。
排序理由 该条目描述了一个用于 LLM 推理的特定基础设施优化工具，而不是新的模型发布或核心研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
