JevBench
PulseAugur coverage of JevBench — every cluster mentioning JevBench across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
Gemini Decision 1 vs. Jev 1.14: 策略评估胜过基准分数
一项技术性比较评估了 Gemini Decision 1 与 Jev 1.14 在路由文本请求方面的表现,强调了评估路由策略而非单一基准分数的重要性。虽然 Gemini 在 JevBench 和总体校准方面领先,但 Jev 在 When2Call 基准测试中显示出更高的准确性。分析指出,Gemini Decision 1 由于其输入定价而成本更高,每输入 token 的成本大约是 Jev 1.14 的 2.38 倍,尽管实际运营成本可…
-
新的混合决策模型学会何时推理,降低成本
研究人员引入了一种新颖的“零或 T 思考”范式,用于混合决策模型,其中单个模型可以通过快速的隐式前向传递提供答案,或者以更高的成本进行完全自回归推理。这种方法在一个具有自路由块的混合决策模型 (HDM) 中实现,它估计“思考的价值”来决定何时执行更慢、更密集的推理。对于没有每次决策标签的任务,使用一种称为校准决策策略优化 (CDPO) 的强化学习技术来训练路由块。在 JevBench 和 MiniWoB 等基准测试上的评估表明,在保持…
-
Google 推出 Gemini Decisions API,实现快速、校准的 AI 决策
Google 推出了 Gemini Decisions API,其中包含新的 Gemini Decision 1 模型,专为快速、闭集决策而设计。该 API 可处理多模态输入,并在单次运行中评估多达 1,000 个问题,以低延迟和零输出 token 成本返回概率和置信度分数。它旨在简化代理功能,如工具选择和策略检查,与传统的生成模型相比,提供了更好的校准和成本效益。
-
ThinkJev 通过选择性思考改进 LLM 打字决策
研究人员推出了一种新方法 ThinkJev,以提高语言模型在算术或日期比较等打字决策上的准确性。ThinkJev 采用混合模型,可以进行直接回答或进行“思考”过程,从而平衡速度和准确性。通过分析模型的置信度,ThinkJev 仅在必要时选择性地采用思考过程,从而在 JevBench 等基准测试中显著降低计算成本,同时保持高准确性。
-
STRIKE推出专用于确定性、低延迟决策的AI
专注于决策而非通用文本生成的专业AI架构,在高风险应用中正变得至关重要。这些类JEV的AI系统提供确定性、低延迟的输出,这对于欺诈检测和API工具调用等任务至关重要。STRIKE开发了一个专用引擎,可实现低于50毫秒的延迟,并保证100%的模式遵循,在结构化任务上超越了通用LLM,并满足严格的欧洲合规标准。
-
AI转向专用决策模型,挑战生成式大语言模型
AI领域正从通用的生成式大语言模型(LLMs)转向专用的决策模型,用于路由或验证等任务。这些决策模型为预定义答案提供类型化概率,从而降低延迟和成本。包括TypeSafe Jev、Liquid AI、Perplexity、Microsoft和OpenAI在内的多家供应商都提供这些专用模型,它们在基准测试、成本和部署选项方面各有优势。
-
Iris框架通过可复用的视觉候选来增强多模态AI的决策能力
研究人员开发了Iris,一个旨在改进AI代理的类型化决策的新框架,特别是在候选者为视觉的多模态环境中。Iris允许独立编码图像、文本或混合候选者,同时保持顺序不变性和可扩展性等关键属性。与联合编码方法相比,这种方法显著降低了延迟并提高了准确性,尤其是在处理大量候选者或跨请求复用候选者时。该框架还解决了系统瓶颈问题,在特定硬件上实现了显著的加速。
-
新AI方法使用类型化决策进行高效模型评估
研究人员开发了一种新颖的AI模型“类型化决策”方法,使其能够在一次前向传播中将证据和问题映射到特定选项的概率。这种方法受到商业系统Jevíčko的启发,与传统的LLM裁判相比,显著降低了计算成本和处理时间。该研究详细介绍了一个能够高效分类代理编码会话的内部裁判,并探索了使用LoRA适配器的开源实现,在JevBench等基准测试中表现出竞争力。
-
测试本地 AI 模型作为 Claude Code 内存工具的 Jev API 替代品
一位开发者测试了本地 AI 模型是否可以取代其 Claude Code 内存工具 jevmem 的 Jev API。在本地 M4 Mac 上运行的 Ollaya 在 66 个测试用例中有 60 个显示出潜力,但其速度和准确性明显低于 Jev API。本地模型在召回率方面遇到困难,并且在其 guard function 中出现假阳性率较高,尽管较大的开源模型在服务器上已显示出具有竞争力的性能。开发者希望未来的硬件改进或新模型能使本地执行变得可行。
-
开发者在RTX 3090上微调Qwen3.5,指出数据标签问题
一位开发者详细介绍了他在RTX 3090上微调Qwen3.5模型的个人实验,旨在将其转变为情感分析或工单路由等任务的候选评分器。实验显示,虽然准确率有所提高,但模型的平均负对数似然值却变差了,这表明训练数据的标签可能与任务意图不符。这次亲身经历的记述强调了在模型开发中,检查多种指标(而不仅仅是准确率)以及仔细审查训练数据的重要性。
-
开放决策模型通过简单微调即可匹配并超越 Jev 性能 · 跟踪 4 个来源
研究人员开发了一种新方法,使开源语言模型能够执行类似 Jev 等专用模型的决策任务。通过分析最后一个 token 的 logits,这些模型可以在没有传统文本生成的情况下输出给定选项的概率。使用 LoRA 和决策头的简单微调方法可以进一步提高其性能。这种方法使模型在 OpenDecisions 和 JevBench 等基准测试中超越了 Jev,证明了现有的开放模型具有重要的决策能力。
-
H2O.ai 发布 H2O-Lightning-4B,登顶 JevBench 排行榜
H2O.ai 发布了 H2O-Lightning-4B,这是一个为决策任务设计的开源权重模型。该模型基于 Qwen3.5-4B 并经过微调,在 JevBench 上取得了 72.5 的综合得分,超过了 Jevíčko 的得分,并在公开排行榜上名列第一的开源模型。该模型针对速度和成本效益进行了优化,仅需一次前向传播即可获得校准概率,无需生成 token,并根据 Apache Software License 2.0 发布。H2O.ai …
-
Jev AI 创始人批评行业过于关注速度而非可靠性
TypeSafe AI 的联合创始人兼首席执行官 Diogo Almeida 在最近的一次采访中讨论了公共基准测试的局限性以及 AI 模型可靠性的重要性。他认为,尽管当前的 AI 模型功能强大,但由于优化目标不匹配,它们常常无法自动化基本任务,导致大量潜力被浪费。Almeida 还批评了行业过于关注速度和成本而忽视可靠性,并将其与 OpenAI 最初关于 AI 为经济价值工作做出贡献的愿景进行了对比。他认为 AI 应该在幕后运行,增强…
-
AWS Strands Labs 发布 Strands Decider 2B 决策模型
AWS Strands Labs 发布了 Strands Decider 2B,这是一个开源决策模型,专为选项选择和评分等特定任务而设计,而非文本生成。该模型基于 Qwen3.5-2B-Base 构建,采用修改后的架构,用指针头替换了语言建模头,使其能够输出具有校准置信度的选项。它在 JevBench 公共数据集上实现了 0.723 的准确率,并表现出低延迟,可在包括 CPU、消费级 GPU 和 Apple silicon 在内的各种…
-
Amazon推出Strands Decider 2B,一款Jev类AI模型
Amazon Web Services推出了Strands Decider 2B,一个受TypeSafe的Jev启发的开源决策模型。该模型专为AI代理工作流设计,为涉及从预定义选项中选择的任务提供了比全规模LLM更快、成本更低的替代方案。此次发布恰逢OpenAI的类似公告,凸显了专业化AI模型在自动化决策领域日益增长的趋势。Strands Decider 2B基于一个较小的LLM Qwen3.5-2B构建,并为其选择提供置信度分数,旨…