Multiple-Choice Question-Answer datasets

新研究揭示AI模型OOD检测评估方法存在缺陷

一篇新发表在arXiv上的论文，对证据深度学习（EDL）中关于分布外（OOD）检测的评估提出了一个关键发现。研究表明，常用的“空洞性”（vacuity）指标对分布内（ID）和OOD数据集之间类别基数（class cardinality）的差异非常敏感。这种敏感性即使在模型预测保持不变的情况下，也能人为地提高AUROC和AUPR等评估分数。该论文主张对ID和OOD进行更精确的定义，特别是在使用MCQA数据集评估因果语言模型上的EDL时。