Jev API
PulseAugur coverage of Jev API — every cluster mentioning Jev API across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
测试本地 AI 模型作为 Claude Code 内存工具的 Jev API 替代品
一位开发者测试了本地 AI 模型是否可以取代其 Claude Code 内存工具 jevmem 的 Jev API。在本地 M4 Mac 上运行的 Ollaya 在 66 个测试用例中有 60 个显示出潜力，但其速度和准确性明显低于 Jev API。本地模型在召回率方面遇到困难，并且在其 guard function 中出现假阳性率较高，尽管较大的开源模型在服务器上已显示出具有竞争力的性能。开发者希望未来的硬件改进或新模型能使本地执行变得可行。
-
Ollama 集成 TypeSafe 的 Jev API 以支持本地决策模型
Ollama 集成了 TypeSafe 的 Jev API，实现了本地决策模型。此次集成支持以是/否、多项选择或评分格式进行响应，且无需网络费用。该系统能够快速处理决策，在 M5 Max 芯片上，Nimble 9B 模型每项决策的处理时间为 91 毫秒。
-
决策模型为分类任务提供低延迟、低成本的LLM替代方案
一类新的“决策模型”正在兴起，它们不同于生成散文的传统大型语言模型。这些更小、更专业的模型，以Jev API shape为例，并得到Ollama和llama.cpp等工具的支持，专为分类任务设计，如工单分类、安全门控和请求路由。虽然它们在公开排行榜上的准确性可能低于大型模型，但其显著降低的延迟和成本使其成为特定用例的有力替代方案。
-
Ollama 0.35.0 通过 TypeSafe Jev API 添加决策模型
Ollama 发布了 0.35.0 版本，通过 TypeSafe Jev API 引入了对决策模型的支持。这项新功能允许用户接收结构化输出，如选择、概率和分数，而不是纯文本，从而支持票务分类、模型路由和内容分类等应用。该版本还重点介绍了 Bespoke Labs 的 Nimble 和 Tev1 等特定决策模型。
-
Jev 决策模型为边缘编排提供比 LLM 更快的替代方案
一项新的研究论文提出，在低延迟边缘服务编排中使用 Jev 决策模型替代大型语言模型（LLM）。研究发现，与最快的 LLM 相比，Jev 决策模型可将中位数决策延迟降低 22.7-64.5%，同时保持高比例的精确和准时请求。这种替代方法对于有界合同和延迟敏感型应用尤其有效，尽管其优势会随着合同范围的扩大或缓存的大量使用而减弱。