vLLM 发布了 0.26.0 版本，包含来自 212 位贡献者的 411 次提交。主要更新包括能够为每个 KV 缓存组选择注意力后端。 AI
影响 提高了 LLM 部署的推理性能和灵活性。
排序理由 开源推理引擎的软件发布。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
vLLM 发布 0.26.0 版本，支持为每个 KV 缓存组选择注意力后端
报道来源 [1]
-
RT @vllm_project: vLLM v0.26.0 is available! 411 commits from 212 contributors (61 new). 🎉 Highlights: 🎯 Attention backend selectable per KV cache group 🪟
RT @vllm_project: vLLM v0.26.0 ist verfügbar! 411 Commits von 212 Mitwirkenden (61 neue). 🎉 Highlights: 🎯 Aufmerksamkeits-Backend wählbar pro KV-Cache-Gruppe 🪟 Sliding Window ist nun eine explizite Backend-Funktion 🗄️ Gestufte KV-Auslagerung mit einer sekundären Objekt-Speicher-E…