vLLM Semantic Router
PulseAugur coverage of vLLM Semantic Router — every cluster mentioning vLLM Semantic Router across labs, papers, and developer communities, ranked by signal.
- 2026-06-03 research_milestone Researchers introduced the vLLM Semantic Router, a novel framework for intelligent request routing in Mixture-of-Modality LLM deployments. 来源
1 天有情绪数据
-
vLLM Semantic Router 发布 d3-ultra,一个 27B 的多模态决策模型
vLLM Semantic Router 发布了 d3-ultra,一个拥有 270 亿参数的多模态决策模型。该模型旨在以概率而非生成文本的方式回答类型化问题,并且它会处理一次输入以回答所有查询。在内部基准测试中,它表现强劲,尤其是在文本任务方面,尽管在基于图像的边界框定位任务上略逊于其同类模型 d3-turbo。
-
Ollama v0.40.9 增加了语音生成、决策模型和跨平台支持
Ollama 发布了 v0.40.9 版本,引入了多项新功能和改进。此次更新支持使用 Phonon 在 Apple Silicon 上进行语音生成,允许用户朗读文本或模型回复,并通过兼容 OpenAI 的端点流式传输音频。此外,Ollama 现在支持 vLLM Semantic Router 的决策模型,能够根据文本、结构化状态或图像对选项进行分类、是/否回答和评分。该版本还将 Flint 引入 Linux 和 Windows,并进行…
-
d3-turbo 27B 模型绕过文本生成,实现概率性输出
vLLM Semantic Router团队发布了d3-turbo 27B,这是一款新颖的AI模型,不生成文本响应。相反,它为预定义的选项输出概率,使其适用于不需要自然语言生成的代理系统中的任务。该模型旨在一次处理输入并回答多个问题,与为每次查询重新处理输入的模型相比,具有显著的速度优势,尤其是在处理图像或视频数据时。
-
Ollama v0.40.11 添加 macOS 语音生成和 vLLM 集成
Ollama 发布了 v0.40.11 版本,引入了多项新功能和改进。此次更新支持在 macOS 上进行语音生成,允许用户朗读文本或模型回复,并通过兼容 OpenAI 的端点流式传输音频。此外,Ollama 现在集成了 vLLM Semantic Router 的决策模型,能够对各种输入进行分类、评分和给出是/否答案。该版本还包括对 qwen3coder 等特定模型的更新,以及对 llama.cpp 和 mlxrunner 的改进。
-
开放决策模型通过简单微调即可匹配并超越 Jev 性能 · 跟踪 4 个来源
研究人员开发了一种新方法,使开源语言模型能够执行类似 Jev 等专用模型的决策任务。通过分析最后一个 token 的 logits,这些模型可以在没有传统文本生成的情况下输出给定选项的概率。使用 LoRA 和决策头的简单微调方法可以进一步提高其性能。这种方法使模型在 OpenDecisions 和 JevBench 等基准测试中超越了 Jev,证明了现有的开放模型具有重要的决策能力。
-
vLLM Semantic Router 发布 Decision 3.0 多模态决策模型
vLLM Semantic Router 发布了 Decision 3.0,这是一个新的五种开源多模态决策模型系列,参数量从 0.8B 到 27B 不等。这些模型可以处理文本、JSON 和图像来回答特定问题,返回概率而非生成的文本,这对于路由和护栏应用非常有用。这些模型基于 Qwen 基础模型进行微调,在内部评估中表现出竞争力,其中 9B 的 d3-flash 模型性能优于上一代的 27B 模型。延迟测量表明在 AMD Instinc…
-
vLLM Semantic Router 发布多模态决策模型 'd3'
vLLM Semantic Router 项目发布了 'd3',一个 27B 的多模态基础决策模型。该模型旨在根据文本、图像和视频回答问题,并返回每个答案的概率,而不生成文本。'd3' 相较于其前身 Decision 2.0 有显著改进,并展示了在单个请求中处理多张图像和视频的能力。它还提供快速的推理速度,在单个 AMD Instinct MI325X 上处理文本请求的中位数为 55 毫秒。
-
GitHub AI基础设施项目人气飙升
本周GitHub上的热门项目集中在AI代理的底层基础设施,而非代理本身。Maka、llmfit、AI memory、AI-Infra-Guard和vLLM Semantic Router等工具因处理日志记录、硬件优化、内存管理、安全和路由等基本功能而受到关注。值得注意的是,其中两个项目已转为基金会管理,脱离了直接的供应商控制。
-
新研究评估了跨基准的开源 AI 模型路由器
一篇新发布的 arXiv 论文评估了四个开源模型路由器,这些系统在代理框架中负责模型选择。该研究引入了一个通用的测量协议,以在四个基准上比较这些路由器:RouterBench、BFCL v4、tau2-bench 和 WebArena。研究结果表明,三个被评估的路由器一致地将任务分配给相同的模型层级,而 vLLM Semantic Router 根据提示内容显示出更多变化,但在任何基准上均未达到最高的成功率。研究表明,观察到的性能提升…
-
vLLM Semantic Router 实现 LLM 部署的智能模型选择
研究人员开发了一个名为 vLLM Semantic Router 的新框架,旨在智能地将请求路由到模态混合部署中最合适的语言大模型 (LLM)。该系统协调来自传入请求的各种信号,从简单的启发式方法到复杂的神经网络分类,以做出明智的路由决策。它支持多样化的部署需求,包括成本优化、隐私强制和延迟敏感性,同时还提供多轮对话支持和与多个 LLM 提供商集成等功能。