对三个决策 API——Google 的 Gemini Decisions、OpenAI Decisions 和 TypeSafe 的 Jev——的最新分析显示,它们声称的校准概率与实际性能之间存在显著差异。在 SNLI 数据集上使用 0.9 的概率阈值进行测试时,这些 API 显示的误差率低于 5%,但人工标注员发现误差率在 17% 到 37% 之间。进一步的测试表明,即使考虑到数据集固有的分歧,这些 API 也高估了自己的准确性。 AI
影响 强调了 AI 决策工具中可能存在的准确性高估问题,敦促依赖校准概率的开发者保持谨慎。
排序理由 该条目详细介绍了 AI 决策工具的具体基准和分析,类似于研究论文的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →