PulseAugur
中
实时 07:03:21
实体 Continuous Batching

Continuous Batching

PulseAugur coverage of Continuous Batching — every cluster mentioning Continuous Batching across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
5
90 天内 10
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 10 条
  1. TOOL · CL_369764 ·

    vLLM 服务基准测试详解,助力高效多用户 LLM 部署

    vLLM 是一个开源服务器,旨在高效地在 GPU 上为多用户同时运行大型语言模型,是 LLM 服务面试中的一个关键话题。该技术利用 PagedAttention 和连续批处理来优化 GPU 内存使用和吞吐量。在 RTX 4090 上使用 Qwen3 0.6B 模型进行的基准测试表明,vLLM 可以同时服务 64 个用户,总吞吐量达到每秒 12,087 个 token,而每个用户的延迟与单用户操作相比仅略有增加。

  2. TOOL · CL_363336 ·

    vLLM 调度器使用连续批处理和分块预填充以实现高效 LLM 服务

    vLLM 服务引擎采用了一个复杂的调度器,旨在优化大型语言模型的性能。该调度器采用连续批处理和分块预填充策略,以确保新请求不会显著延迟正在进行的对话。它以每步固定的 token 预算运行,优先处理现有的解码请求,然后将剩余资源分配给新提示,如果新提示超出预算,则分块处理。该系统还管理 KV 缓存,如果缓存空间不足,则会抢占较旧的请求,并支持 VIP 通行证以实现优先调度。

  3. TOOL · CL_311176 ·

    LLM推理引擎通过连续批处理、PagedAttention和前缀缓存实现高吞吐量

    像vLLM和SGLang这样的LLM推理引擎的效率,很大程度上得益于超越强大GPU的各种技术。这些引擎采用了连续批处理、PagedAttention和前缀缓存等方法来最大化吞吐量。连续批处理允许动态调度请求,在迭代级别进行处理,而不是等待静态批处理中最长请求的完成。PagedAttention通过使用类似于虚拟内存的基于块的系统来优化KV缓存的内存使用,从而大大减少碎片并增加有效批处理大小。前缀缓存通过重用多个请求中相同的提示前缀先前…

  4. TOOL · CL_281860 ·

    LLM 服务拆分为两个阶段,GPU 通量加倍

    现代 LLM 服务架构正通过将过程拆分为两个不同的阶段来更有效地处理请求:预填充(prefill)和解码(decode)。预填充阶段处理整个提示,是计算密集型的,受益于高 GPU 利用率。解码阶段负责逐个生成 token,是内存带宽密集型的,需要高效的 KV 缓存管理。PagedAttention、连续批处理(continuous batching)和分块预填充(chunked prefill)等创新对于优化这些阶段至关重要,而分离式…

  5. TOOL · CL_279517 ·

    PagedAttention和连续批处理革新大语言模型推理

    大语言模型(LLM)服务基础设施在扩展推理方面面临严峻挑战,主要源于内存带宽和容量限制,而非原始计算能力。PagedAttention和连续批处理等关键创新,由vLLM等引擎率先推出,通过优化KV缓存的管理来解决这些问题。PagedAttention借鉴了操作系统虚拟内存的理念,将KV缓存划分为更小的块,将内存浪费从60%以上降低到4%以下,并提高了并发性。连续批处理通过在迭代级别处理请求,进一步提高了效率,避免了静态批处理和长时间等…

  6. TOOL · CL_234684 ·

    连续批处理优化 AI 推理中的 GPU 使用

    连续批处理是一种旨在优化 AI 模型推理中 GPU 利用率的技术。与静态批处理不同,静态批处理要求一批请求必须等待最慢的单个请求完成,而连续批处理允许新请求在之前的请求完成时立即进入批处理。这种方法旨在通过确保硬件持续处理任务来减少 GPU 空闲时间并提高整体吞吐量。

  7. COMMENTARY · CL_138790 ·

    大语言模型推理速度受硬件物理限制,而非模型复杂度

    一篇文章探讨了大语言模型(LLM)推理的性能瓶颈,认为主要限制因素并非模型本身,而是硬件的底层物理限制,特别是内存带宽。文章解释说,GPU的设计是为了大规模并行处理,对大型数据集执行相同的操作,这对于AI工作负载至关重要。文章强调,LLM的推理速度取决于两个关键GPU资源中较慢的那个:计算能力和内存带宽,并引入了算力强度(arithmetic intensity)的概念来衡量这种关系。

  8. TOOL · CL_99068 ·

    连续批处理通过优化 GPU 使用率来提高 LLM 推理效率

    连续批处理是一种旨在提高大型语言模型 (LLM) 推理过程中 GPU 利用率的优化技术。传统的静态批处理方法存在“拖尾问题”,即批次中最慢的请求决定了所有请求的处理时间,导致 GPU 大量空闲。连续批处理通过在每次迭代中动态重新评估和调整批次来解决此问题,允许已完成的请求立即被队列中的新请求替换。与静态批处理相比,这种迭代调度确保 GPU 资源得到持续利用,从而显著提高吞吐量和效率。

  9. RESEARCH · CL_92655 ·

    Hugging Face 详细介绍连续批处理和 DeepMath 代理

    Hugging Face 发布了介绍两项新 AI 发展的文章。第一篇介绍了连续批处理,一种更有效地处理 AI 模型的技术。第二篇文章重点介绍了 DeepMath,一个由 smolagents 提供支持的轻量级数学推理代理,由英特尔合作开发。

  10. RESEARCH · CL_88570 ·

    oMLX 在 Mac LLM 推理速度上显著优于 Ollama

    对在 Mac 设备上本地运行 LLM 的 oMLX 和 Ollama 进行的性能比较显示出显著的速度差异。oMLX 利用 Apple Silicon 的 MLX 框架,与使用 GGUF 后端的 Ollama 相比,其 token 生成速度快了 35%,多轮对话延迟降低了 7 倍。虽然 oMLX 提供了 SSD KV Cache 和 Continuous Batching 等专业功能,但 Ollama 在跨平台兼容性和更广泛的模型生态系…