实体 TRRTLLM

TRRTLLM

PulseAugur coverage of TRRTLLM — every cluster mentioning TRRTLLM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

FRONTIER RELEASE · CL_313202 · Oct 21 · 06:54

DeepSeek 开源 DeepInfer 推理引擎，具备先进的缓存功能

DeepSeek 已开源 DeepInfer，这是一款专为生产部署设计的推理引擎。该工具包基于 vLLM 构建，并整合了 SGLang 和 TRRTLLM 的贡献，提供了长达 72 小时的提示缓存等高级功能，并支持跨 NVIDIA 和华为 Ascend 平台的分布式推理。虽然核心引擎是开源的，但 DeepSeek 指出，由于内部基础设施的依赖性，某些组件（如优化的 KV 缓存管理和负载均衡）尚未完全发布。此次发布突出了显著的性能声明，…