LFORLA 基准评估大型语言模型在为未来事件(例如 2027 年法国总统大选和 2026 年美国中期选举)生成具体、接地和校准的预测方面的能力。与传统基准不同,LFORLA 评估的是预测结构和推理的质量,而不是其最终的准确性。包括 DeepSeek-V4 Flash、Qwen2.5 Coder 7B Instruct、Qwen2.5 7B Instruct 和 Llama 3.1 8B-Instruct 在内的几款模型已被评估,其中一些模型因其严谨的预测格式而获得满分。 AI
影响 提供了一种评估 LLM 预测能力的新方法,突出了擅长结构化和可证伪预测的模型。
排序理由 该项目描述了一个用于评估 LLM 在特定任务(选举预测)上的新基准,并展示了几款模型的评估结果。[lever_c_demoted from research: ic=1 ai=1.0]
- DeepSeek-V4 Flash
- lforla
- Llama 3.1 8B-Instruct
- presidential election in France
- Qwen2.5 Coder 7B Instruct
- US midterms
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →