vLLM 发布了 0.32.0 版本,引入了一个新的 /v1/systemone 端点。该端点旨在回答结构化状态下的 choice、noul 和 score 相关问题,并且默认启用。此外,该版本还包括新的 hf 工具和推理解析器,可以解析 Python 和 Rust 中的 checkpoint 响应模板。 AI
影响 增强了 LLM 的推理能力和解析功能,可能提高使用 vLLM 的开发者的效率和灵活性。
排序理由 这是一个开源推理引擎的软件发布,而不是前沿模型发布。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →