Mayank

SGLang 成为 vLLM 的高效 LLM 服务继承者 · 跟踪 1 个来源

SGLang 是由伯克利、斯坦福和卡内基梅隆大学的研究人员开发的新工具，它正作为 vLLM 在服务开源 LLM 方面的改进而受到关注。虽然 vLLM 改进了请求处理和吞吐量，但 SGLang 解决了更复杂的挑战：LLM 在多轮或多步交互中重新处理先前见过的信息的低效率问题。SGLang 的核心创新 RadixAttention 允许 LLM 通过存储常见前缀并为新信息分叉来重用先前处理过的数据，从而显著降低延迟和计算成本。这使得需要结…