Qixin Wang

新的基准数据集揭示AI在工程问题上面临挑战

研究人员推出SoM-1K，一个旨在评估基础模型在材料力学复杂工程问题上能力的多模态基准数据集。该数据集包含1065个问题，每个问题都有文本描述和示意图。采用了一种新颖的提示策略——图像描述（DoI），该策略使用专家生成的图表文本描述，来测试八个领先的大型语言和视觉语言模型。结果表明，当前模型在这些任务上表现出显著的困难，最佳模型的准确率仅为56.6%，凸显了AI在科学和工程应用中对改进多模态推理的需求。