研究人员开发了ScienceArena,这是一个旨在评估大型语言模型(LLMs)科学推理能力的新基准。该基准利用了近期国际物理奥林匹克、化学奥林匹克和生物学奥林匹克竞赛的题目,这些题目包含多步骤、开放式问题,难以自动评分。评估过程包括专家审核和奥林匹克奖牌获得者的验证以确保准确性,并校准了“大型语言模型即裁判”系统以实现可扩展的评估。对十四个大型语言模型的初步评估表明,虽然顶级模型在某些考试中可以达到奖牌同等分数,但在化学等领域以及在长串问题解决过程中保持一致性方面仍存在重大挑战。 AI
影响 该基准测试可以揭示大型语言模型在科学推理方面的局限性,并指导未来模型开发朝着更好的问题解决能力和一致性方向发展。
排序理由 该集群描述了一个基于科学竞赛问题评估大型语言模型的新基准,属于研究范畴。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Hugging Face
- International Baccalaureate Organization
- International Chemistry Olympiad
- International Physics Olympiad
- LLMs
- ScienceArena
- USNCO
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →