MechVL

新的 MechVQA 数据集和 MechVL 模型提升大语言模型对工程图纸的理解能力

研究人员推出了 MechVQA，这是一个旨在评估和改进多模态大语言模型（MLLMs）在理解机械工程图纸方面能力的新数据集。该数据集包含 3.3k 张图像，涵盖十项细粒度任务的 21,000 多个问答对，解决了当前 MLLMs 在该领域因标注密度和领域知识差距而存在的局限性。为了建立一个强大的基准，团队还开发了 MechVL 模型，该模型在 MechVQA 基准测试中比现有模型提高了 7.57 个百分点，展示了在机械设计和检测应用中增强的能力。