GPUStack 在其 v2.3.0rc2 版本中推出了一项新的决策路由功能,允许应用程序使用单一入口点访问多个模型。该功能由 Jev 决策服务提供支持,可根据任务内容和管理员定义的策略智能选择合适的生成模型。本文详细介绍了在 GPUStack 中部署 Qwen3 和 DeepSeek 等模型、连接 Jev 进行决策以及配置名为 'demo-smart' 的路由以演示如何通过专用模型处理不同复杂度的任务的过程。 AI
影响 增强了在单一平台内管理多个 LLM 的灵活性和效率。
排序理由 文章描述了现有平台 (GPUStack) 内的一项新功能,该功能增强了其模型路由功能,而不是一项新模型发布或基础研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →