研究人员推出了MechReason,这是一个旨在评估多模态大语言模型在机械工程领域的多跳推理能力的新基准。该基准源自真实的工程论文,包含超过12,000个问答对,附有详细的推理链,以及涵盖九种证据类型的21,000个视觉材料。MechReason旨在评估模型整合多张图像、文本、物理原理和工程约束以解决复杂、多步骤问题的能力,而目前先进模型的准确率仅约为62.89%。 AI
影响 该基准将推动多模态模型为专业技术领域发展更复杂的推理能力。
排序理由 该集群描述了一个用于评估AI模型的新学术基准。 [lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- MechReason
- ScienceCast
- Scite
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →