PulseAugur
实时 21:59:27
English(EN) Pandora's Regret: A Proper Scoring Rule for Evaluating Sequential Search

潘多拉的悔恨:一种用于评估顺序搜索的评分规则

研究人员推出了一种名为“潘多拉的悔恨”(Pandora's Regret)的新型评分规则,旨在比传统方法更有效地评估顺序搜索过程。与对数损失等局部规则不同,潘多拉的悔恨考虑了备选项的排名以及测试它们的成本。这一新规则源于对预期搜索成本的分析,并提供了一种在惩罚将错误选项排名高于正确选项的校准错误的同时,引出真实概率的方法。将其应用于MedMNIST模型,与现有指标相比,它能更好地预测临床诊断成本。 AI

影响 引入了一种新的评估指标,可以提高模型在顺序决策任务中的性能。

排序理由 这是一篇介绍用于评估顺序搜索的新评分规则的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

潘多拉的悔恨:一种用于评估顺序搜索的评分规则

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Gerardo A. Flores, Yash Deshpande, Jannis R. Brea, Ashia C. Wilson ·

    Pandora's Regret: A Proper Scoring Rule for Evaluating Sequential Search

    arXiv:2605.01936v1 Announce Type: new Abstract: In sequential search, alternatives are tested until the true class is found. Standard proper scoring rules like log loss are local, ignoring the ranking of competitors and misaligning model evaluation with search utility. We show th…