Banking77
PulseAugur coverage of Banking77 — every cluster mentioning Banking77 across labs, papers, and developer communities, ranked by signal.
- instance of Jevíčko 90%
- instance of Clef-flash 90%
- instance of System One 90%
- used by CLINC150 70%
- competes with Jevíčko 70%
- used by Laya 70%
- instance of CLINC150+OOS 70%
- competes with Lightbend Inc. 70%
- instance of Conference and Labs of the Evaluation Forum 70%
- competes with Claude Haiku 5.5 70%
- used by Jevíčko 60%
- instance of CLINC150 60%
11 天有情绪数据
-
新型混合模型决定何时推理，降低成本和延迟
研究人员推出了一种新颖的混合决策模型（HDM），该模型能够智能地在快速的隐式回答和较慢的显式自回归推理之间进行路由。该模型使用经过校准决策策略优化（CDPO）训练的自路由模块来估计思考的价值，并根据预期效用与设定的成本来决定是否进行全面推理。在 JevBench 和 MiniWoB++ 等基准测试上的评估表明，HDM 在保持准确性的同时，可以显著降低代币成本和延迟，其中一个变体在 JevBench 上实现了 72.5% 的延迟降低。
-
GPT-6.1 Terra 在银行业务意图分类方面引领成本效益 LLM
一项最新分析在 Banking77 意图分类任务上比较了十种 LLM，发现 GPT-6.1 Terra 是最经济实惠且达到 70% 成功率阈值的模型。虽然 GPT-6.1 Terra 的成功率为 84%，单价为 0.000727 美元/任务，但其表现略逊于 GPT-6.1 Sol 的 86%。GPT-6 Luna 和 Claude Haiku 5.5 的成本显著更低，但未能达到 GPT-6.1 Sol设定的性能基准。研究强调，仅仅关注…
-
GLiNER2 提取模型与 Claude Haiku 5.5 对比测试
最近的一项比较评估了开源提取模型 GLiNER2 与 Anthropic 的 Claude Haiku 5.5 在 JSON 提取任务上的性能。GLiNER2 可以在 CPU 上运行，并使用模式进行提取，速度非常快，但准确性不如 Haiku，尤其是在需要判断的数值方面。虽然 GLiNER2 在直接提取方面表现良好，但 Haiku 在大多数测试中表现出更高的准确性，特别是在发票处理等更复杂的任务上。研究还指出，GLiNER2 的错误有时…
-
新研究解决LLM的可靠性、基准测试和推理错误问题
近期研究探索了多种方法来提高大型语言模型（LLM）的性能和可靠性。一种方法侧重于利用知识空间理论对教育任务的LLM推荐进行基准测试，将模型输出与正式参考进行比较。另一项开发，Plumbline，是一个旨在验证Amazon LLM训练正确性的系统，能够识别和追踪整个生命周期中的故障。此外，研究人员正在开发LLM推理的实时纠错技术，特别是在数学和科学领域，以便在不显著降低性能的情况下捕捉发生的错误。其他工作则调查了当前LLM推理失败分类法…
-
新框架评估概率决策的机器遗忘
研究人员推出了 DecisionUnlearn-Bench，这是一个新颖的实证框架，旨在评估概率决策模型的机器遗忘。该框架评估模型在保持整体功能的同时遗忘特定数据的能力，并考虑删除粒度、标签更改和候选集等因素。在 BANKING77 数据集上的实验表明，遗忘的有效性因删除目标和标签表示方式的不同而有显著差异。在 CLINC150 数据集上的进一步测试表明，即使在达到相似的数据抑制水平时，不同的遗忘方法在神谕保真度方面也会产生截然不同的结果。
-
System One模型提供比LLM更快、更便宜的AI决策
一类新的AI模型，被称为“System One”模型，旨在实现快速、结构化的决策，而不是文本生成。在一项比较中，名为Jev的System One模型在意图分类和内容安全检查等任务上，与Claude Haiku 5.5相比，延迟和成本显著降低。虽然Jev更快、更便宜，但其准确性在大多数测试基准上与Claude Haiku 5.5相当，这表明System One模型可能是AI管道中特定决策任务更有效的选择。
-
DeepOpen框架在银行和意图分类任务上实现了高精度
研究人员推出DeepOpen，一个为BANKING77和CLINC150等特定数据集量身定制的面向决策的意图分类框架。该系统使用单一的带锐度感知最小化（SAM）的英文分类器在BANKING77上达到了94.12%的高准确率。对于CLINC150，Laya专家和DeBERTa-v3-large分类器的概率融合达到了98.02%的准确率。该论文详细介绍了配置，强调了性能指标，并讨论了潜在的选择效应和历史执行路径差异，而不是声称新的算法优势。
-
ELMDE系统将LLM决策延迟缩短至毫秒级
一个名为Equilibrium Latent-MoE Decision Engine (ELMDE) 的新系统已被开发出来，以显著加快语言模型中的决策过程。与传统的逐个token解码不同，ELMDE通过循环核心一次性处理上下文，达到一个不动点，然后进行决策投影。这种方法极大地降低了延迟，一个包含50个问题的批次大约需要14毫秒，而其他方法则需要数千毫秒。ELMDE还包含一个共形门控机制，用于识别不确定的决策，将其升级到更慢的模型或人工…
-
Vektor的桌面AI代理将消息路由准确率提升至90%
Vektor发布了其AI代理Desk的更新版本2.0.1，显著提高了其自动路由能力。新版本现在能够将约90%的消息正确路由到相应的模式，远高于之前的11%。这一改进使得Desk能够智能地为用户的查询选择最佳模式，无需手动输入，从而提高了效率和用户体验。该公司还详细介绍了技术方法，包括用于决策的信号、隐私考虑以及发布前实施的严格测试程序。
-
Jev、Drex 和 Laya：系统一决策模型在医疗和通用场景下的比较
arXiv 上发表的一项比较研究强调了系统一决策模型 Jev 在医疗环境中的可靠性，发现它在文本驱动的任务上可与领先模型相媲美，但在数值任务上表现不佳。研究还指出，Jev 在处理不同提问方式时表现出很强的一致性，尽管包括 Jev 在内的大多数模型在识别何时应弃答方面存在局限性。此外，一篇 dev.to 博文将 Jev 与其他具有通用 API 的系统一模型 Drex 和 Laya 进行了比较。Jev 被定位为托管的默认选项，Drex 提…
-
HotKV 通过语义缓存将 Claude 的 token 使用量减少了 70%
HotKV 是一个语义缓存系统，通过从内存中处理重复和相似的客户支持查询，显著降低了 LLM 的运营成本。在测试 Anthropic 的 Claude 模型时，HotKV 将 token 使用量和 API 费用减少了约 70%。虽然完全匹配的查询得到了完美处理，但在默认 0.81 相似度阈值下的语义匹配导致答案相关性与直接模型调用相比略有下降，尽管在更高的相似度阈值下这种差距有所缓解。
-
Autotrust发布两款在Decision Index上评估的决策AI模型
Autotrust发布了两款新模型，AutoTrust-JEV-27B-v1.1和AutoTrust-Decider-Pro-Vision-27B-v1.1，它们专为结构化决策而设计。这些模型为答案选项分配概率，并在Decision Index 0.3公共套件上进行了评估。评估突出了它们在工具选择、意图分类和日常自动化方面的优势，尤其是在“工具与自动化”类别中取得了成功。
-
20多款Jev决策模型替代品涌现，挑战TypeSafe的产品
自2026年9月推出TypeSafe的Jev决策模型以来，已有20多款替代品出现。这些替代品由Cloudflare、OpenAI和Perplexity等公司以及独立开发者开发，提供了图像处理、自托管和透明模型大小等各种改进。虽然Jev在硬推理任务方面表现出色，但一些替代品，如Cloudflare的Clef，在BANKING77等特定分类基准测试中表现优于Jev。
-
SemTree 引入了可检查、可修复的感知型决策树
研究人员开发了 SemTree，一个将规则决策表示为感知型决策树的新颖框架。树中的每个节点都提出一个自然语言问题，由一个感知型判断器回答，树的结构根据这些答案动态编译。这种方法允许对规则决策进行检查和修复，因为错误可以在单个节点上被精确定位和纠正。SemTree 在各种数据集上表现出强大的性能，以比传统方法更少的问题实现了具有竞争力的准确性，并通过节点级修复和判断器训练显示出显著的改进。
-
Jev 决策模型在测试中显示出显著的选项集依赖性
一篇新发表在 arXiv 上的研究调查了托管决策模型的选项集依赖性，特别是测试了 Jev 模型。研究发现，在分类任务中添加无关选项会显著改变分配给正确和错误选项的概率。这种依赖性在包括 Banking77、CLINC150 和 AG News 在内的各种数据集上都有观察到，并且随着选项数量的增加，这种变化是方向性的并呈递增趋势。研究表明，Jev 的概率应根据给定查询中使用的特定选项列表来解释。
-
Cloudflare 发布 Clef-omni 多模态决策模型
Cloudflare 已在 Hugging Face 上以 Apache 2.0 许可协议发布了 Clef-omni，这是一个 30B 参数的多模态混合专家模型。与传统的 LLM 不同，Clef-omni 专为决策任务设计，接受文本、图像、音频或视频输入以及键入的问题，以返回预定义答案的概率。该模型被定位为 TypeSafe 的 Jev 的替代品，旨在用于生产用例，重点是高效的决策评分而不是文本生成。虽然在意图分类方面表现出色，但与前…
-
Cloudflare推出Clef-Flash，一个用于快速分类的9B决策模型
Cloudflare发布了Clef-Flash，一个拥有90亿参数、专为速度和效率设计的决策模型，该模型基于Qwen3.5-9B构建。与传统的聊天模型不同，Clef-Flash在一个前向传播中处理输入状态和类型化问题，并返回预定义答案的概率，而不生成自由文本。这使其适用于支持工单分类等任务，可以快速分类其紧急程度和负责人。Cloudflare还提供了一个名为Clef的更大、经过精度调优的27B参数模型，该模型包含用于图像分类的视觉能力。
-
新的词汇置信度方法增强了AI意图路由的可靠性
研究人员开发了一种名为Signed Lexical Confidence (SLC)的新方法，以提高AI意图路由的可靠性。该技术将分类器的置信度得分与来自词汇模型的证据相结合，为延迟不确定的请求提供了更有信息量的信号。SLC旨在通过区分可靠的预测和需要人工干预的预测来提高AI助手的准确性和覆盖范围。在BANKING77和CLINC150等标准数据集上的实验表明，SLC显著降低了风险覆盖曲线下面积，并在指定错误目标下增加了可接受的覆盖范围。
-
Cloudflare 发布 Clef 决策模型，支持类型化概率输出
Cloudflare 推出了 Clef 和 Clef-flash，这是两个开放权重的决策模型，专为特定问题回答而非通用文本生成而设计。这些模型基于 Qwen 主干构建，并兼容 TypeSafe AI Jev API，能够为关于输入状态（包括文本、图像和视频）的预定义问题返回类型化概率。虽然 Clef 和 Clef-flash 在 Banking77 和 CLINC150+OOS 等某些基准测试中表现优于 Jev，但在 GPQA Dia…
-
本地AI模型laya-triage在支持工单上的准确率提升至90.5%
一位开发者成功微调了一个本地AI模型laya-triage，将其在支持工单分类上的准确率从51%提升至90.5%。这是通过在Kaggle的免费GPU上使用10003个BANKING77支持工单进行训练实现的。经过微调的模型现在能够以高置信度自动处理60.5%的工单，将其路由到正确的部门，评估紧急程度，并识别沮丧或流失风险，而且每张工单的成本为零。这种方法符合一种更广泛的趋势，即在工作流程中嵌入更小、更快的决策模型，而不是更大、更通用的模型。