PulseAugur
中
实时 20:46:00
实体 chunked prefill

chunked prefill

PulseAugur coverage of chunked prefill — every cluster mentioning chunked prefill across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 3 条
  1. TOOL · CL_363336 ·

    vLLM 调度器使用连续批处理和分块预填充以实现高效 LLM 服务

    vLLM 服务引擎采用了一个复杂的调度器,旨在优化大型语言模型的性能。该调度器采用连续批处理和分块预填充策略,以确保新请求不会显著延迟正在进行的对话。它以每步固定的 token 预算运行,优先处理现有的解码请求,然后将剩余资源分配给新提示,如果新提示超出预算,则分块处理。该系统还管理 KV 缓存,如果缓存空间不足,则会抢占较旧的请求,并支持 VIP 通行证以实现优先调度。

  2. TOOL · CL_281860 ·

    LLM 服务拆分为两个阶段,GPU 通量加倍

    现代 LLM 服务架构正通过将过程拆分为两个不同的阶段来更有效地处理请求:预填充(prefill)和解码(decode)。预填充阶段处理整个提示,是计算密集型的,受益于高 GPU 利用率。解码阶段负责逐个生成 token,是内存带宽密集型的,需要高效的 KV 缓存管理。PagedAttention、连续批处理(continuous batching)和分块预填充(chunked prefill)等创新对于优化这些阶段至关重要,而分离式…

  3. RESEARCH · CL_139217 ·

    vLLM 配置影响 LLM 的能耗、性能和准确性

    一篇新的研究论文探讨了在为大型语言模型 (LLM) 配置 vLLM 等推理引擎时,能耗、性能和准确性之间的权衡。该研究分析了五种开源 LLM 和五种推理任务中,注意力核类型、前缀缓存和分块预填充的组合。结果表明,注意力类型和前缀缓存对能耗和性能有显著影响,其影响因模型和工作负载而异,而在默认配置下,分块预填充的影响有限。研究还发现,推理引擎的选择可能会意外地影响模型的准确性。