PulseAugur
中
实时 00:28:24
实体 virtual memory

virtual memory

PulseAugur coverage of virtual memory — every cluster mentioning virtual memory across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_279517 ·

    PagedAttention和连续批处理革新大语言模型推理

    大语言模型(LLM)服务基础设施在扩展推理方面面临严峻挑战,主要源于内存带宽和容量限制,而非原始计算能力。PagedAttention和连续批处理等关键创新,由vLLM等引擎率先推出,通过优化KV缓存的管理来解决这些问题。PagedAttention借鉴了操作系统虚拟内存的理念,将KV缓存划分为更小的块,将内存浪费从60%以上降低到4%以下,并提高了并发性。连续批处理通过在迭代级别处理请求,进一步提高了效率,避免了静态批处理和长时间等…