HakemBench

新的基准测试评估AI模型在英语和土耳其语中的决策能力

发布了两个新的基准测试，一个用于英语，一个用于土耳其语，以评估AI模型在处理类型化决策方面的能力。英语基准测试“Typed Decision Models中的候选覆盖率基准测试”评估Laya和Jev等模型在AG News和TREC等数据集上识别缺失答案和避免拒绝有效候选者的能力。土耳其语基准测试“HakemBench”包含超过2300个项目，分布在七个赛道上，包括事实核查和客户支持，并为模型性能提供了一个综合评分。