一位开发者发现不同LLM提供商在处理`reasoning_effort`参数时存在显著差异,导致意外错误和分类错误。OpenAI的GPT 5.6 Luna拒绝同时使用工具和`reasoning_effort`,要求将其设置为'none'才能启用工具使用,这也降低了延迟。相比之下,内部vLLM实例不接受`reasoning_effort`的'none'值,而是需要`chat_template_kwargs: { enable_thinking: false }`来禁用其思考过程。跨提供商的思考输出字段命名约定不一致以及流式响应问题进一步增加了复杂性。 AI
影响 由于LLM提供商之间对参数处理不一致,凸显了仔细进行API集成和测试的必要性。
排序理由 开发者正在排查LLM参数方面的特定技术问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →