XDecideBench

新的XDecideBench基准评估多语言决策模型

研究人员推出XDecideBench，一个旨在跨多种语言评估类型化决策模型及其置信度策略的新基准。该基准包含九个套件，覆盖122种语言，总计88,425篇文本和153,875个类型化问题。初步研究结果表明，模型在不同语言套件上的表现可能存在显著差异，一个在英语上表现出色的模型在缅甸语Belebele等其他语言上表现不佳。值得注意的是，三款针对类型化决策进行微调的开源模型在十二种开发语言上的表现优于其基础Qwen模型。