vLLM 的 Semantic Router 项目发布了 Decision 3.0 (d3)，这是一个开源的多模态决策模型，旨在绕过传统 LLM 在分类和路由任务中遇到的延迟和格式化问题。与其它模型不同，d3 不生成文本；相反，它在一次前向传播中直接输出校准后的概率分布，用于选择、是/否答案和分数。这种方法显著减少了响应时间并消除了格式化错误，使其适用于自动化 DevOps 事件路由和医学图像分析等应用，即使在 VRAM 有限的硬件上也能运行。 AI
影响 为 AI 驱动的分类和路由任务提供了一种更快、更可靠的替代方案，有望提高 DevOps 和 MLOps 的效率。
排序理由 知名项目发布了新的开源多模态决策模型。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
讓 LLM 做分類或路由判斷時，是不是也常常等待 JSON 慢慢吐字，甚至有時候還會遇到格式解析失敗？ vLLM 官方 Semantic Router 專案近期推出的 Decision 3.0 (d3) 打破了這個痛點，作為一款開源的多模態基礎決策模型，它的最大特色是「完全不生成文字」，而是直接在單次 Forward Pass 中輸出 Choice、Yes/No 與 Score 的校準機率分佈，這不僅免去了文字生成的延遲，更徹底根絕了格式錯誤的問題。 下面的文章我們將實測如何在單張 24GB VRAM 的地端環境中，利用 d3 解決 DevOps 事故自…
TL;DR — Most AI data governance treats license and consent as a property of the dataset, not of the pipeline operations that transform it. Dedup, join, resample, and mixing steps silently change what you're actually allowed to do with a record, and almost no tooling tracks that. …