vLLM Semantic Router 发布了 Decision 3.0,这是一个新的五种开源多模态决策模型系列,参数量从 0.8B 到 27B 不等。这些模型可以处理文本、JSON 和图像来回答特定问题,返回概率而非生成的文本,这对于路由和护栏应用非常有用。这些模型基于 Qwen 基础模型进行微调,在内部评估中表现出竞争力,其中 9B 的 d3-flash 模型性能优于上一代的 27B 模型。延迟测量表明在 AMD Instinct MI325X GPU 上处理效率很高。 AI
影响 通过多模态输入的概率输出来为开发人员提供高效的路由和护栏功能。
排序理由 知名实验室发布新的开源多模态模型系列。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
- AMD Instinct MI325X
- Apache Software License 2.0
- Decision 3.0
- JPT-0.8B
- Perplexity Decider v1.1
- Qwen
- Torchcast Decision 27B
- transformers
- vLLM Semantic Router
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →