Conference and Labs of the Evaluation Forum
PulseAugur coverage of Conference and Labs of the Evaluation Forum — every cluster mentioning Conference and Labs of the Evaluation Forum across labs, papers, and developer communities, ranked by signal.
- 2026-10-21 product_launch Cloudflare released its Clef AI model, designed for decision-making tasks. 来源
- 2026-10-19 product_launch Cloudflare launches Clef, a new tool to replace classifier calls in AI agent routers. 来源
- 2026-10-18 product_launch Cloudflare released the Clef model, a 27B parameter multimodal model. 来源
- 2026-10-17 product_launch Cloudflare has launched Clef, a new tool aimed at improving AI agent routing. 来源
- 2026-10-02 product_launch Cloudflare has released Clef, a specialized AI model for decision-making tasks. 来源
10 天有情绪数据
-
研究质疑决策模型中的异常定位
一篇新研究论文探讨了决策模型在图像异常检测方面的能力,特别是研究这些模型是否能够精确定位检测到的异常。该研究使用了一个名为 Clef-flash 的、经过后训练的 Qwen3.5-9B 主干网络,在 MVTec AD 和 MVTec AD 2 等工业检测基准上取得了混合结果。虽然该模型在检测方面取得了较高的 AUROC 分数,但其定位异常的能力却不太一致,决策头中的注意力机制与异常的实际位置的相关性有限。即使是基于 Qwen3.8-2…
-
Cloudflare 发布 AI 模型,拥抱“neolab”身份
Cloudflare 正进军 AI 模型开发领域,推出了 Clef 和 Clairic 两款新模型。Clef 的灵感来源于 TypeSafe.ai 的 Jev 模型,而 Clairic 则被描述为一个新颖的“提取”模型。Cloudflare 的 AI 平台负责人 Michelle Chen 表示,该公司计划不仅开发系统一模型,还将开发推理模型和其他大型语言模型,尽管这可能通过对现有资源的后期训练而非从头开始训练来实现。此举将 Clou…
-
类型化决策模型研究表明,头部的复杂度不如骨干网络大小重要
研究人员对类型化决策模型进行了一项对照研究,发现模型的“头部”(对选项进行评分的部分)的复杂度对准确性没有显著影响。实验表明,即使在推理速度更快的情况下,简单的头部也能与更复杂的头部媲美。研究还强调,模型的“骨干网络”大小比头部设计对性能更关键。此外,一个单独的教程提供了一个实用的五步法来重新校准类型化决策模型的置信度分数,证明特定的调整可以显著提高准确性并减少错误,特别是通过根据存储桶类型分离置信度分数。
-
研究发现量化噪声可与模型性能变化相媲美
一项最新研究调查了量化对决策模型的影响,结果表明除权重变化外,其他因素也显著影响性能。研究发现,引擎、批次大小和内核选择引入的噪声可与量化本身相媲美,甚至超过量化噪声。具体而言,在 NVIDIA GB10 上,对于 Cloudflare 的 Clef-flash (9B) 和 Clef (27B) 模型,这些非量化效应占决策变化的比例高达 0.92%,而 4 位量化可能导致决策变化超过 5%。研究强调,准确性指标常常掩盖了这些潜在的性…
-
AI模型在风湿病学诊断任务上表现不一
一项新研究评估了几种AI模型(包括Decision和System One模型)在风湿病学考试问题和诊断病例小插图上的表现。模型在两个基准上进行了测试:RheumaMIR数据集和RheumBench数据集。虽然Jev 1.13等一些System One模型在考试问题上表现出高准确性,但与GPT-6 Sol等模型相比,它们在诊断小插图上的表现效果较差。
-
AI驱动的DLP系统可防止图像文件泄露文档
本文讨论了如何使用针对图像文件的AI驱动的数据丢失防护(DLP)系统来防止文档泄露。文章详细介绍了一种利用Cloudflare Workers AI和Clef实现此目的的方法。
-
新的“仅决策”AI 模型为代理循环操作提供更快、更便宜的解决方案 · 跟踪 3 个来源
一类新的 AI 模型,被称为“System One”或仅决策模型,已出现以解决在代理循环中使用大型语言模型 (LLM) 进行简单决策任务的低效率问题。这些模型,例如 TypeSafe AI 的 Jev 和 Cloudflare 的 Clef,专为快速分类、路由和门控而设计,与通用 LLM 相比,在成本和延迟方面节省显著。它们的快速采用,Vercel 报告称 Jev 的初始使用率很高,表明市场对优化代理循环操作的专业 AI 解决方案有强劲需求。
-
Cloudflare 发布 Clef AI 用于决策,与 Jev 竞争
Cloudflare 发布了 Clef,这是一种新型 AI 模型,旨在用于决策而非文本生成。与传统的语言模型不同,Clef 接收一个状态和一组类型化问题,并为每个答案返回数值分数。这种方法可以加快票证路由等应用程序中的决策速度。Clef 系列包括三种模型:Clef(270 亿参数)、Clef-flash(90 亿参数)和 Clef-omni(混合专家模型),具有不同的成本和功能,某些版本还支持图像和音频处理。Clef 的权重根据 Ap…
-
AI评估的决策模型:Jev、Perplexity、OpenAI等模型对比
一篇新的博文探讨了在评估任务中使用决策模型的用法,并对比了包括Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1和d1-ultra、Cloudflare Clef Flash以及OpenAI Decisions (GPT-6 Luna)在内的多个模型。作者强调,为了优化性能,需要将决策阈值调整到默认的0.50以上,并根据具体用例需求平衡精确率和召回率。分析使用了公寓租赁代理对话跟踪数据集来识别错…
-
Cloudflare 发布 Clairic 提取模型,警告开发者注意输出解释
Cloudflare 发布了 Clairic,这是其 Workers AI 平台上的一个预览提取模型,旨在识别并返回输入文本中的特定类型字段。该模型自 2026 年 10 月 19 日起可用,通过一次性返回每个请求字段的值来运行,而不生成输出 token。一个关键的注意事项是,开发者必须确保他们的代码直接读取 'value' 字段,因为即使 value 为 null,'guess' 字段也可能包含输出,这表明模型在输入中找不到请求的信息。
-
AI决策API涌现,价值从模型转向结构
近期,包括TypeSafe、OpenAI、Cloudflare、Perplexity和Amazon在内的多家公司推出了用于快速、结构化决策的API。这些产品旨在为特定任务提供比传统大型语言模型更快、更便宜的替代方案。一个关键的观察是,Cloudflare的Clef API被设计为TypeSafe的Jev API的直接替代品,这表明价值在于API的结构而非底层模型的权重。Gian Luca Bailo的一项实验进一步表明,这类系统的性能…
-
Cloudflare 的 Clef 旨在通过高效、低成本的路由优化 AI 代理路由器
Cloudflare 推出了 Clef,一款旨在提升 AI 代理路由器性能的新工具。Clef 旨在取代路由器中传统的分类器调用,后者常常难以满足严格的输出要求。通过单次扫描评估选项而不生成 token,Clef 提供了一种更高效、更具成本效益的解决方案,在 Clef-flash 套餐上的价格为每百万次输入 0.038 美元。虽然 Clef 在路由测试中表现出高准确性,但其在 Cloudflare 的 RouterBench 上的表现与…
-
Clef:一个用于系统状态解释的270亿参数多模态模型
Clef是一个新发布的270亿参数多模态模型,旨在解释包括文本、JSON、图像和视频在内的各种数据类型的系统状态。它在一个前向传播中为每个选项输出一个概率,无需生成或解析文本。该模型在Apache-2.0许可下发布,并提供与Jev和SystemOne的API兼容性。
-
Ollama v0.40.6 增强了 Windows 运行程序、GGUF 支持和云功能
Ollama 发布了 0.40.6 版本,包含多项改进。主要更新包括防止 Windows 运行程序被孤立,在 GGUF 中增加了对 q2_0 张量和文件类型的支持,并在 Ollama 云中启动了 'clef' 功能。此外,该版本在其 --ask 模式中集成了对问题键使用标识符。
-
Cloudflare 推出 Clef 以实现高级 AI Agent 路由
Cloudflare 推出了 Clef,一款旨在增强 AI Agent 路由能力的新工具。在 Cloudflare 进行的基准测试中,Clef 取得了 79.7 分,另一组件 Jev 得分为 79.9。此举旨在提高 AI Agent 路由系统的效率和有效性。
-
Ollama 发布 v0.40.6-rc0,更新了问题 ID 处理
Ollama 发布了 v0.40.6-rc0 版本,合并了 Jberg 的一个拉取请求,该请求解决了评估论坛会议和实验室中的问题 ID。
-
三周内发布四款人工智能决策模型,侧重于速度和结构化输出
在三周的时间内,不同的公司发布了四款不同的决策模型,这些模型均不生成散文。这些模型专为代理和管道设计,接收状态和类型化问题,并返回概率加权的答案。这些模型包括 TypeSafe AI 的 Jev、Cloudflare 的 Clef 和 Clef-flash、AWS 的 Strands Decider 2B,以及基于 GPT-6 Luna 构建的 OpenAI Decisions API。它们与专注于对话文本的模型不同,更侧重于速度和结构化输出。
-
混合式 AI 决策路由在 .NET 实现中显示出部分成功
一位开发者探索了一种混合式 AI 决策方法,其中更简单、更快的模型处理直接任务,只有不确定的决策才会被升级到更强大、更慢的模型。该方法旨在通过利用两种模型类型的优势来平衡成本和性能。虽然该概念显示出前景,但在 .NET 中的实现面临挑战,其中一些方面按预期工作,而另一些方面则未完全达到预期。
-
Prompt caching's complex tradeoffs revealed in AI performance tests
Prompt caching, a technique aimed at optimizing AI model performance by reusing previous computations, is proving to be less straightforward than initially assumed. Recent analyses suggest that its effectiveness is high…
-
SubQ Snap 推出,加入决策模型价格战
Subquadratic Inc. 推出了 SubQ Snap,这是一款专为路由和工具选择等任务设计的新型决策模型,能够在一秒钟内处理多达 384K 个文本和图像 token,每百万输入 token 费用为五美分。该产品进入了一个快速增长的市场,在过去三周内,包括 OpenAI、Microsoft 和 Perplexity 在内的多家公司已发布了六款类似的决策模型。虽然 SubQ Snap 的专有 Subquadratic Spars…