研究人员开发了一种名为WorldCup Arena的新型评估方法，用于评估前沿大语言模型的预测能力。该方法在前瞻性地评估2026年世界杯期间的六个大语言模型，要求它们在任何答案公开之前预测比赛结果和其他赛事相关市场。研究发现，虽然模型在比赛结果上的平均准确率为63.9%，通常与博彩公司看好的选项一致，但它们之间的相互一致性并未提高准确性。模型还表现出对平局和进球数承诺不足的倾向，并且其表现取决于赛事的倾斜度，而不是可用信息的多少。 AI
影响 这种新颖的评估方法可能导致在真实、动态场景中对大语言模型能力进行更强大、更可靠的评估。
排序理由 该集群包含一篇学术论文，详细介绍了大语言模型的新评估方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
