MechReason

新的MechReason基准测试了机械工程领域的多模态AI

研究人员推出了MechReason，这是一个旨在评估多模态大语言模型在机械工程领域的多跳推理能力的新基准。该基准源自真实的工程论文，包含超过12,000个问答对，附有详细的推理链，以及涵盖九种证据类型的21,000个视觉材料。MechReason旨在评估模型整合多张图像、文本、物理原理和工程约束以解决复杂、多步骤问题的能力，而目前先进模型的准确率仅约为62.89%。