PulseAugur
中
实时 21:12:19
实体 vLLM Semantic Router

vLLM Semantic Router

PulseAugur coverage of vLLM Semantic Router — every cluster mentioning vLLM Semantic Router across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
7
90 天内 10
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
关系
时间线
  1. 2026-06-03 research_milestone Researchers introduced the vLLM Semantic Router, a novel framework for intelligent request routing in Mixture-of-Modality LLM deployments. 来源
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 10 条
  1. SIGNIFICANT · CL_324223 ·

    vLLM Semantic Router 发布 d3-ultra,一个 27B 的多模态决策模型

    vLLM Semantic Router 发布了 d3-ultra,一个拥有 270 亿参数的多模态决策模型。该模型旨在以概率而非生成文本的方式回答类型化问题,并且它会处理一次输入以回答所有查询。在内部基准测试中,它表现强劲,尤其是在文本任务方面,尽管在基于图像的边界框定位任务上略逊于其同类模型 d3-turbo。

  2. TOOL · CL_312904 ·

    Ollama v0.40.9 增加了语音生成、决策模型和跨平台支持

    Ollama 发布了 v0.40.9 版本,引入了多项新功能和改进。此次更新支持使用 Phonon 在 Apple Silicon 上进行语音生成,允许用户朗读文本或模型回复,并通过兼容 OpenAI 的端点流式传输音频。此外,Ollama 现在支持 vLLM Semantic Router 的决策模型,能够根据文本、结构化状态或图像对选项进行分类、是/否回答和评分。该版本还将 Flint 引入 Linux 和 Windows,并进行…

  3. SIGNIFICANT · CL_312124 ·

    d3-turbo 27B 模型绕过文本生成,实现概率性输出

    vLLM Semantic Router团队发布了d3-turbo 27B,这是一款新颖的AI模型,不生成文本响应。相反,它为预定义的选项输出概率,使其适用于不需要自然语言生成的代理系统中的任务。该模型旨在一次处理输入并回答多个问题,与为每次查询重新处理输入的模型相比,具有显著的速度优势,尤其是在处理图像或视频数据时。

  4. TOOL · CL_311018 ·

    Ollama v0.40.11 添加 macOS 语音生成和 vLLM 集成

    Ollama 发布了 v0.40.11 版本,引入了多项新功能和改进。此次更新支持在 macOS 上进行语音生成,允许用户朗读文本或模型回复,并通过兼容 OpenAI 的端点流式传输音频。此外,Ollama 现在集成了 vLLM Semantic Router 的决策模型,能够对各种输入进行分类、评分和给出是/否答案。该版本还包括对 qwen3coder 等特定模型的更新,以及对 llama.cpp 和 mlxrunner 的改进。

  5. RESEARCH · CL_296273 ·

    开放决策模型通过简单微调即可匹配并超越 Jev 性能 · 跟踪 4 个来源

    研究人员开发了一种新方法,使开源语言模型能够执行类似 Jev 等专用模型的决策任务。通过分析最后一个 token 的 logits,这些模型可以在没有传统文本生成的情况下输出给定选项的概率。使用 LoRA 和决策头的简单微调方法可以进一步提高其性能。这种方法使模型在 OpenDecisions 和 JevBench 等基准测试中超越了 Jev,证明了现有的开放模型具有重要的决策能力。

  6. SIGNIFICANT · CL_293841 ·

    vLLM Semantic Router 发布 Decision 3.0 多模态决策模型

    vLLM Semantic Router 发布了 Decision 3.0,这是一个新的五种开源多模态决策模型系列,参数量从 0.8B 到 27B 不等。这些模型可以处理文本、JSON 和图像来回答特定问题,返回概率而非生成的文本,这对于路由和护栏应用非常有用。这些模型基于 Qwen 基础模型进行微调,在内部评估中表现出竞争力,其中 9B 的 d3-flash 模型性能优于上一代的 27B 模型。延迟测量表明在 AMD Instinc…

  7. SIGNIFICANT · CL_296172 ·

    vLLM Semantic Router 发布多模态决策模型 'd3'

    vLLM Semantic Router 项目发布了 'd3',一个 27B 的多模态基础决策模型。该模型旨在根据文本、图像和视频回答问题,并返回每个答案的概率,而不生成文本。'd3' 相较于其前身 Decision 2.0 有显著改进,并展示了在单个请求中处理多张图像和视频的能力。它还提供快速的推理速度,在单个 AMD Instinct MI325X 上处理文本请求的中位数为 55 毫秒。

  8. TOOL · CL_224007 ·

    GitHub AI基础设施项目人气飙升

    本周GitHub上的热门项目集中在AI代理的底层基础设施,而非代理本身。Maka、llmfit、AI memory、AI-Infra-Guard和vLLM Semantic Router等工具因处理日志记录、硬件优化、内存管理、安全和路由等基本功能而受到关注。值得注意的是,其中两个项目已转为基金会管理,脱离了直接的供应商控制。

  9. TOOL · CL_205900 ·

    新研究评估了跨基准的开源 AI 模型路由器

    一篇新发布的 arXiv 论文评估了四个开源模型路由器,这些系统在代理框架中负责模型选择。该研究引入了一个通用的测量协议,以在四个基准上比较这些路由器:RouterBench、BFCL v4、tau2-bench 和 WebArena。研究结果表明,三个被评估的路由器一致地将任务分配给相同的模型层级,而 vLLM Semantic Router 根据提示内容显示出更多变化,但在任何基准上均未达到最高的成功率。研究表明,观察到的性能提升…

  10. TOOL · CL_68405 ·

    vLLM Semantic Router 实现 LLM 部署的智能模型选择

    研究人员开发了一个名为 vLLM Semantic Router 的新框架,旨在智能地将请求路由到模态混合部署中最合适的语言大模型 (LLM)。该系统协调来自传入请求的各种信号,从简单的启发式方法到复杂的神经网络分类,以做出明智的路由决策。它支持多样化的部署需求,包括成本优化、隐私强制和延迟敏感性,同时还提供多轮对话支持和与多个 LLM 提供商集成等功能。