PulseAugur
中
实时 09:19:16
实体 DualPace

DualPace

PulseAugur coverage of DualPace — every cluster mentioning DualPace across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_327278 ·

    DualPace运行时通过GPU-CPU协同提升LLM服务吞吐量

    研究人员开发了DualPace,一种旨在提高推理吞吐量和降低延迟的新型LLM服务运行时。DualPace将GPU和CPU引擎之间的调度解耦,允许CPU独立处理请求并更有效地利用主机内存。与vLLM和NEO等现有系统相比,这种协同方法可将服务吞吐量提高高达90.6%,同时保持可比的延迟。