PulseAugur
中
实时 23:46:04
实体 SGLang

SGLang

PulseAugur coverage of SGLang — every cluster mentioning SGLang across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
185
90 天内 485
发布 · 30天
0
90 天内 0
论文 · 30天
31
90 天内 70
层级分布 · 90 天
主题
关系
时间线
  1. 2026-11-18 product_launch SGLang released version router-v0.1.0 of its routing system. 来源
  2. 2026-10-02 product_launch SGLang released version 0.5.21, adding support for DeepSeek-V4.1 Flash. 来源
  3. 2026-09-05 product_launch SGLang released version 0.5.19, featuring a large number of contributions. 来源
  4. 2026-08-22 product_launch SGLang released version v0.5.18, featuring 710 pull requests from 212 contributors. 来源
  5. 2026-08-22 product_launch SGLang released version 0.5.18. 来源
  6. 2026-07-25 product_launch SGLang released version 0.5.16, including the new DSpark speculative decoding algorithm. 来源
  7. 2026-07-23 controversy A critical vulnerability, CVE-2026-14890, was disclosed in SGLang, enabling unauthenticated remote code execution. 来源
  8. 2026-06-20 product_launch SGLang and MUSA merge backends, enabling native GPU support for China's open-source AI ecosystem. 来源
  9. 2026-01-09 product_launch SGLang released version 0.3.1 of its model gateway, featuring performance and memory improvements. 来源
情绪 · 30 天

28 天有情绪数据

最近 · 第 1/10 页 · 共 200 条
  1. TOOL · CL_370341 ·

    TideCache 系统提升 NVIDIA 芯片上的 AI 代理性能

    一个名为 TideCache 的新缓存系统,使用 SGLang 开发,在 NVIDIA 硬件上为 AI 代理展示了显著的性能提升。该系统通过在 GPU 和主机内存之间高效地流式传输 KV 缓存层,在 NVIDIA GB300 和 GH200 芯片上实现了高达 59% 的每 token 延迟降低。这种优化有效地使这些专用芯片上可能的 AI 代理回合数翻倍。

  2. TOOL · CL_370223 ·

    NVIDIA Dynamo 1.6.2 改进了 LLM 错误处理和工作程序稳定性

    NVIDIA Dynamo v1.6.2 为 LLM 服务引入了两项关键改进。首先,它现在会为超大提示返回 HTTP 400 错误,而不是 500 错误,从而防止不必要的重试并减少服务器负载。其次,SGLang 工作程序可使用一个选择性标志 DYN_SGL_FREEZE_GC_AFTER_INIT 来最小化长操作期间的流式传输停顿。这些更改旨在提高 LLM 推理管道的效率和可靠性。

  3. COMMENTARY · CL_369954 ·

    腾讯Hunyuan团队在Reddit AMA中讨论Hy4模型及未来计划

    腾讯Hunyuan团队(包括姚舜宇)在Reddit上举行了AMA(Ask Me Anything),讨论了他们最近发布的Hy4和Hy4-flash模型。Hy4是一款旗舰模型,能够理解文本、图像和视频,以完成复杂任务;Hy4-flash则针对日常办公任务进行了速度和成本优化,支持高达100万个token。两款模型的权重均已公开,团队回答了关于训练、在消费级硬件上部署以及未来发展计划(包括小型模型和下一代模型的大参数量)的技术问题。

  4. TOOL · CL_370348 ·

    Inkling-2-Mini-Uncensored 模型变体在 Hugging Face 上发布

    Inkling-2-Mini-Uncensored 模型的两个版本现已在 Hugging Face 上提供,可满足不同的部署需求。OpenUncensored/Inkling-2-Mini-Uncensored 变体专为与 Transformers 等库以及 vLLM 和 SGLang 等推理提供商配合使用而设计。第二个版本 AtomicChat/Inkling-2-Mini-Uncensored-GGUF 针对本地应用程序和 lla…

  5. COMMENTARY · CL_368135 ·

    SGLang 与 vLLM:深入探讨 LLM 服务引擎的关键区别

    文章比较了两个流行的开源 LLM 服务引擎 SGLang 和 vLLM,重点介绍了它们共享的核心思想,如连续批处理和 PagedAttention。主要区别在于它们如何重用先前处理过的提示片段:vLLM 使用页面标签链,而 SGLang 采用基数树结构。作者指出,虽然两者都与 OpenAI API 兼容,但在服务器端切换它们可能需要代码调整。比较基于 vLLM 在 RTX 4090 上的性能,SGLang 的性能则根据其项目文档进行描述。

  6. TOOL · CL_368347 ·

    TriAxialKV 推进 LLM 推理,采用新颖的 KV 缓存量化技术

    研究人员开发了 TriAxialKV,一种用于 KV 缓存的新颖混合精度量化方案,旨在优化代理式 LLM 推理。该方法根据时间相关性、模态和语义角色为每个 token 分配一个三轴标签,从而实现定制化压缩。在 OSWorld 基准测试中使用 Qwen3-VL-32B-Thinking 进行测试时,TriAxialKV 在 BF16 KV 缓存下达到了 SGLang 的准确率,同时 KV 缓存容量翻了两番,吞吐量提高了 30%。

  7. TOOL · CL_367833 ·

    开源项目Pada模仿TypeSafe AI的Jev,实现更快、更结构化的LLM决策

    一个名为Pada的新开源项目已被开发出来,旨在复制TypeSafe AI的Jev模型的功能。Jev模型设计用于快速、结构化的决策,而非对话式输出。该项目利用树注意力(Tree Attention)和模型的lm_head,实现在一次遍历中进行无训练选择、是/否回答和开放词提取。这种方法旨在通过避免逐个token生成文本来提高分类和实体提取等任务的效率,因为逐个token生成文本可能速度慢且计算成本高。

  8. TOOL · CL_367086 ·

    商汤科技SenseNova-Loop-9B模型以其独特的架构重新定义参数尺寸

    商汤科技发布了SenseNova-Loop-9B-Preview,这是一个开放权重模型,在参数尺寸方面提出了独特的挑战。虽然它拥有约90亿参数,但其循环架构每个token需要56层传递,使其推理参数接近146亿。该模型需要llama.cpp、vLLM或SGLang等专业服务引擎,因为标准实现尚不支持其循环结构。测试表明,CPU性能可能成为瓶颈,禁用循环以加快处理速度会导致输出不正确,这表明循环是其训练功能不可或缺的一部分。

  9. TOOL · CL_366542 ·

    AMD ROCm 10.2 发布,扩展了对 Ryzen 笔记本电脑的支持并进行了优化

    AMD 发布了 ROCm 10.2,为其开源 GPU 计算平台带来了重要的更新和优化。新版本扩展了对 Ryzen 笔记本电脑的支持,正式包含 18 款旧的基于 RDNA 3 的型号,并对 ROCm CLI 和 AMD Skills 进行了改进。此外,ROCm 10.2 增强了对 vLLM 和 SGLang 的支持,并为 PCIe GPU 优化了 RCCL,同时更新了 RHEL/SLES 支持。

  10. SIGNIFICANT · CL_365488 ·

    RadixArk发布DaisyRose-27B模型,提升智能体任务性能

    RadixArk发布了DaisyRose-27B,一个基于Qwen3.8-27B构建的新模型。该模型使用强化学习进行训练,专注于长时域智能体任务,利用了长达100万token的会话。DaisyRose-27B在Terminal-Bench 4.1等基准测试中表现出显著的改进,pass@1分数从5.6%提高到12.0%,在推理、指令遵循和编码任务上也取得了进步。训练过程包括与Eigent AI合作开发的精选任务,并使用了RadixArk…

  11. SIGNIFICANT · CL_367812 ·

    Microsoft 发布 Aion-1.0-Instruct-2.3B 以支持 Windows 设备端 AI

    Microsoft 发布了 Aion-1.0-Instruct-2.3B,这是一款专为 Windows 生态系统内的设备端 AI 任务设计的 foundational Small Language Model (SLM)。这款拥有 23 亿参数的模型针对边缘计算进行了优化,能够在不依赖云端的情况下提供文本理解和生成能力。一个集成了 Microsoft 内容审核模型的增强版本计划于 2027 年初成为默认的 Windows OS SLM…

  12. TOOL · CL_366530 ·

    RadixArk/DaisyRose-27B 多模态模型在 Hugging Face 上发布

    RadixArk/DaisyRose-27B 模型现已在 Hugging Face 上可用,提供多模态能力,可同时处理文本和图像。该模型可以使用 Transformers、vLLM 和 SGLang 等流行库集成到各种应用程序和工作流程中。提供了使用这些工具的模型操作的详细说明和代码示例,包括 Google Colab 和 Kaggle 环境的设置。

  13. TOOL · CL_364280 ·

    XM-Sparse 系统通过新颖的内存卸载提升 LLM 服务吞吐量

    研究人员推出 XM-Sparse,一个旨在提高稀疏注意力机制大语言模型 (LLM) 服务效率的新颖系统。该系统通过将 KV 缓存和 K-index 数据卸载到横向扩展内存池,解决了 GPU 高带宽内存 (HBM) 容量的瓶颈。XM-Sparse 为每种缓存类型采用了定制的 I/O 机制,包括基于 TMA 的 KV 条目检索和 SM 高效的 K-index 访问预取 DMA。实验表明,与现有的基于 PCIe 的系统相比,XM-Spars…

  14. TOOL · CL_364055 ·

    新型Trie-Head接口通过生成式检索提升吞吐量

    研究人员开发了Trie-Head,这是一种新颖的原生模型生成式检索接口,它将标识符Trie存储为经过验证的GPU张量。通过消除Python约束回调和跨词汇表的候选缓冲区,该方法显著减少了CPU-GPU协调和内存流量。结合共享上下文注意力(在beam之间重用prompt的key/value块),该系统实现了显著的吞吐量提升。在LinkedIn招聘助手和资质检索等工作负载上的评估表明,与基线方法相比,闭环吞吐量最多可提高5.57倍。

  15. TOOL · CL_363914 ·

    统一的基数缓存简化了混合模型的LLM前缀缓存

    统一基数缓存(URC)由LMSYS团队开发,于2026年8月推出,解决了混合大型语言模型(LLMs)中高效前缀缓存的挑战。与KV缓存重用直接的传统Transformer不同,具有混合层类型(全注意力、滑动窗口、Mamba)的混合模型需要不同的缓存策略。URC采用单一的基数树结构,并带有可插拔组件来管理这些多样化的缓存需求,取代了复杂的独立缓存类矩阵。

  16. TOOL · CL_363899 ·

    SGLang 发布 router-v0.1.0 并与 vLLM 相关联

    SGLang 发布了其路由系统的新版本 router-v0.1.0。此次发布是 SGLang 项目持续开发的一部分,该项目与 vLLM 相关联。

  17. RESEARCH · CL_366246 ·

    NarrowSpec技术通过减小草稿模型宽度来加速LLM解码

    研究人员开发了一种名为NarrowSpec的技术,允许推测解码中的草稿模型以减小的隐藏宽度运行,而不会显著影响性能。该方法在Qwen3-8B和GPT OSS 20B等模型上使用SGLang在Nvidia B200和DGX Spark硬件上进行了测试,速度提升高达1.44倍。研究结果表明,草稿模型的残差流可以有效地以目标模型宽度的一半或四分之一运行,为推测解码提供了一种更有效的方法。

  18. TOOL · CL_363717 ·

    AWS SageMaker 集成 NVIDIA Dynamo 以实现高效的 LLM 推理

    Amazon SageMaker HyperPod 推理现已与 NVIDIA Dynamo 集成,这是一个开源的分布式推理框架。这种结合旨在通过解决 GPU 内存限制和提示处理协调等挑战来提高服务大型语言模型 (LLM) 的效率。此次集成支持多节点部署以及预填充和解码阶段的分离,并具有键值感知路由和优化调度等功能。

  19. TOOL · CL_362774 ·

    10个免费资源助您掌握LLM推理工程

    本文汇集了10个免费的LLM推理工程学习资源,涵盖了KV缓存、批处理、服务引擎和GPU内核等关键主题。资源包括Modular的手册、Hugging Face的连续批处理解释、斯坦福大学和麻省理工学院的大学讲座,以及对vLLM和Mini-SGLang等特定引擎的深入探讨。文章还推荐了GPU MODE讲座和Triton教程,以获取进一步的优化知识。

  20. TOOL · CL_362778 ·

    mtop 1.6 提供实时 LLM 服务器监控和减速诊断

    开发者 Eladser 发布了 mtop 的 1.6 版本,mtop 是一款用于监控本地大型语言模型 (LLM) 服务器的终端工具。此次更新引入了实时请求跟踪,显示每秒令牌的实时速率以及首个令牌和解码的详细计时信息。mtop 现在还提供了模型减速的具体原因,例如由于 VRAM 不足导致模型部分在 CPU 上执行、上下文窗口限制或服务器请求排队。此外,它还可以检测 NVIDIA GPU 是否因过热或功率限制而降速。