vLLM 的工具调用功能中一个常见的问题，尤其是在使用 Kimi K2.6 或 DeepSeek 等模型时，源于默认的服务器配置，该配置会导致大量无效的 JSON 输出。Ubicloud 的测试显示，vLLM 默认情况下，对于符合 schema 的工具调用，准确率仅为 92%，这严重影响了多步代理流程。许多工具定义中缺乏“strict”参数，导致 vLLM 无法强制执行 schema 遵从性，加剧了这个问题。通过 vLLM 0.31 及更高版本中的 `--tool-strict-level` 服务器标志，可以解决此问题，该标志可确保工具调用得到正确约束和验证。 AI
影响 修复 vLLM 的默认工具调用配置对于代理的可靠性能至关重要，并减少了模型特定的归咎。
排序理由 该条目讨论了 vLLM 框架内的一个特定技术问题及其解决方案，影响了工具调用功能。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
