Blind-Spots-Bench

新基准揭示AI盲点，凸显闭源模型优势

研究人员推出了Blind-Spots-Bench，这是一个旨在识别AI模型中持续存在的弱点的新基准，特别是在人类认为简单的任务中。该基准包含从AI课程学生那里收集的235个样本，旨在揭示现有基准可能忽略的局限性。使用Blind-Spots-Bench进行的分析表明，闭源模型在某些任务上的表现可以比开放权重模型高出约10%，即使在其他评估中获得相似的分数，并且没有单一模型在所有任务类型上都表现出色。