WorldCup Arena

在无泄露基准测试中，大语言模型被评估用于预测2026年世界杯

研究人员开发了一种名为WorldCup Arena的新型评估方法，用于评估前沿大语言模型的预测能力。该方法在前瞻性地评估2026年世界杯期间的六个大语言模型，要求它们在任何答案公开之前预测比赛结果和其他赛事相关市场。研究发现，虽然模型在比赛结果上的平均准确率为63.9%，通常与博彩公司看好的选项一致，但它们之间的相互一致性并未提高准确性。模型还表现出对平局和进球数承诺不足的倾向，并且其表现取决于赛事的倾斜度，而不是可用信息的多少。