研究人员推出了LLM-SoccerArena，这是一个新颖的前瞻性实时基准测试平台，旨在评估大型语言模型（LLM）在现实世界场景（特别是体育赛事）中的预测能力。该开源平台记录了未解决事件的带时间戳的预测，并考虑了模型版本、信息访问、提示策略和预测范围等不同因素。使用2026年FIFA世界杯进行的初步评估表明，与没有网络访问的LLM相比，拥有网络访问的LLM在预测准确性方面仅有边际改善，以Brier分数衡量。 AI
影响 该基准测试可能导致对LLM预测能力的更严格评估，从而可能改善其在不确定未来事件的决策中的应用。
排序理由 该集群描述了一篇介绍用于评估LLM的新颖基准测试的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- Brier score
- Claude Opus-4.8
- Connected Papers
- DagsHub
- FIFA World Cup
- Gotit.pub
- GPT-5.5
- Hugging Face
- Litmaps
- LLM-SoccerArena
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
