UNFAIR-ToS

TypeSafe AI的Jev模型在决策任务上优于开源替代品 · 跟踪4个来源

TypeSafe AI发布了Jev，一个“System One”模型，旨在做出小型、具体的决策，而不是生成文本。Jev从固定集合中返回选择、评分或校准的概率，旨在提高信息访问管道的效率。独立评估显示，Jev在各种基准测试中显著优于Qwen和Gemma等开源模型，尤其是在准确性和概率校准方面，尽管它仍然容易受到提示注入的影响，并且在低资源语言上表现下降。此次发布引发了一波开源重写，虽然提供了更低的延迟和成本，但总体上未能达到Jev的开箱即用准确性。