jev-calibration

TypeSafe AI 的 Jev 模型显示出强大的校准度，但存在一个明显的弱点

对 TypeSafe AI 的 Jev 模型进行的最新分析揭示了其在分类代理工具调用风险方面的可靠性。在 240 个案例中，Jev 表现出强大的校准度，特别是在置信度恰好为 1.000 时，它在 134 次中有 133 次是正确的。然而，在 0.90 至 0.99 的置信度范围内，该模型准确性较低，平均置信度为 0.970，但仅在 87.7% 的时间里是正确的。这表明在不太确定的预测中可能存在过度自信的问题，这可能会影响代理平台的决策。