引入了一个新的基准测试LED-BENCH,用于评估多模态大型语言模型在理解和推理大幅面工程图方面的能力。该基准测试涵盖了机械、建筑和交通领域,结果显示,即使是像GPT-5.6 "Sol"这样先进的模型,在复杂推理和整合图纸不同部分证据方面也面临困难。GPT-5.6 "Sol"的平均准确率为52.65%,凸显了当前模型在细粒度理解和证据整合方面存在的重大挑战。 AI
影响 强调了多模态模型在大幅面工程图理解和复杂推理方面持续存在的挑战。
排序理由 该集群描述了一篇介绍用于评估AI模型基准测试的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →