0.5.20

SGLang 0.5.20 通过微小的采样器更改提升解码速度

SGLang 版本 0.5.20 对其采样器进行了一项小小的、九行的更改，显著提高了解码速度，在批次内的单个请求速度提升高达 75%。此性能改进取决于特定条件：仅当批次中没有请求使用 top_k、top_p 或 min_p 采样方法时才适用。在免费 T4 GPU 上，此优化观察到每次调用节省约 0.1 毫秒，特别是在与 Qwen3 模型一起使用时，该模型默认某些采样参数用于聊天请求。