实体
chunked prefill
chunked prefill
PulseAugur coverage of chunked prefill — every cluster mentioning chunked prefill across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM 服务拆分为两个阶段，GPU 通量加倍
现代 LLM 服务架构正通过将过程拆分为两个不同的阶段来更有效地处理请求：预填充（prefill）和解码（decode）。预填充阶段处理整个提示，是计算密集型的，受益于高 GPU 利用率。解码阶段负责逐个生成 token，是内存带宽密集型的，需要高效的 KV 缓存管理。PagedAttention、连续批处理（continuous batching）和分块预填充（chunked prefill）等创新对于优化这些阶段至关重要，而分离式…
-
vLLM 配置影响 LLM 的能耗、性能和准确性
一篇新的研究论文探讨了在为大型语言模型 (LLM) 配置 vLLM 等推理引擎时，能耗、性能和准确性之间的权衡。该研究分析了五种开源 LLM 和五种推理任务中，注意力核类型、前缀缓存和分块预填充的组合。结果表明，注意力类型和前缀缓存对能耗和性能有显著影响，其影响因模型和工作负载而异，而在默认配置下，分块预填充的影响有限。研究还发现，推理引擎的选择可能会意外地影响模型的准确性。