实体
Llm D
Llm D
PulseAugur coverage of Llm D — every cluster mentioning Llm D across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 5
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
时间线
- 2026-08-01 product_launch The open-source project llm-d has released version v0.7. 来源
情绪 · 30 天
3 天有情绪数据
最近 · 第 1/1 页 · 共 5 条
-
使用 llm-d 和 SGLang 上的异构 E/PD 扩展 Kimi-VL 模型
本文详细介绍了扩展支持视觉的 Kimi-VL 模型的技术进展。通过在 llm-d 和 SGLang 框架上实现的异构 E/PD（执行/处理分布）方法实现了扩展。此方法旨在提高大型语言模型（尤其是具有多模态能力的模型）的效率和性能。
-
GLM-5.2 模型发布，用于 llm-d 上的 Agentic Workloads
新模型 GLM-5.2 现已在 llm-d 平台上可用于 Agentic Workloads。此次发布专注于增强 AI 代理的功能。
-
llm-d v0.7 发布，重点关注生产加固
开源项目llm-d发布了v0.7版本，重点关注从初始功能实现到健壮的生产加固的转变。此次更新旨在提高系统在实际应用中的稳定性和可靠性。
-
llm-d 路由层将 AWS EKS 上 Qwen 7B 的推理速度提升 2.3 倍
一个名为 llm-d 的新路由层在 LLM 推理方面取得了显著的速度提升，特别是在 AWS EKS 上使用 Qwen2.5-7B-Instruct 模型时。通过智能地将请求路由到可能已经缓存了必要前缀数据的 vLLM 副本，llm-d 将基准测试完成时间缩短了一半以上，吞吐量增加了一倍多。这种方法解决了当请求在副本之间随机分布时重复前缀计算的低效率问题，从而大大缩短了首次令牌的平均时间。
-
Google为LLM赋能OSS生产Kubernetes推理
Google通过为llm-d添加夜间CI，增强了其开源生产Kubernetes推理能力。这一发展被视为朝着在生产环境中更广泛地采用大型语言模型迈出的重要一步。