SGLang 发布了 0.5.16 版本，这是一个重要的更新，包含来自 169 位贡献者的 574 个拉取请求。此版本引入了 DSpark，一种旨在提高 AI 模型输出置信度的新型推测解码算法。 AI
影响 SGLang 的此次更新可能会改进 AI 模型部署和实验的开发者工具。
排序理由 这是一个 AI 开发工具的软件发布，而不是前沿模型发布。
在 Mastodon — sigmoid.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
🚀 SGLang v0.5.16 is out Highlights · *574 PRs from 169 contributors.* · DSpark: confidence-driven speculative decoding: A new speculative algorithm. It drafts… ⭐ 30,714 stars All open-source AI releases → https:// opensourceai.tech/releases.html # OpenSource # Release # DevTools …