PulseAugur
中
实时 09:18:00
实体 paged serving engine

paged serving engine

PulseAugur coverage of paged serving engine — every cluster mentioning paged serving engine across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_366112 ·

    Gemma 4 KV 缓存优化带来显著内存节省

    研究人员开发了一种优化 Gemma 4 模型(特别是 Gemma 4.31B)KV 缓存存储的方法。这种新方法存储一个单一的 640 值行,而不是完整的键和值,根据 Gemma 4 报告的建议,KV 缓存内存使用量最多可减少 37.5%。使用 vLLM 的原型在输出上与标准引擎位相同,在 32K 到 64K token 时,每个请求的解码 KV 内存减少了 1.34 到 1.40 倍。该优化还提高了 A100 GPU 上的解码吞吐量,…