新基准评估AI在建筑安全任务上的表现

研究人员开发了SafeBuild-Bench，一个旨在评估多模态大语言模型（MLLMs）在建筑安全任务上的新基准。该基准源自超过10万条工业图像-文本记录，包含3,314个经专家验证的实例，涵盖了多项选择题式危害识别和自由形式危害描述。为了高效创建用于训练和评估的子集，他们还引入了GEMS，一个图增强的多模态选择管道。目前，MLLMs在该基准上的表现低于可靠的建筑安全理解水平，最高得分约为60%。 AI

影响 该基准有望推动AI在理解和减轻建筑工地等复杂现实环境中风险方面的能力。

排序理由 该集群描述了一个新的学术基准和相关的代码库，用于评估AI模型。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• Connected Papers
• CORE Recommender
• DagsHub
• GEMS
• Gotit.pub
• Hugging Face
• Litmaps
• SafeBuild-Bench
• ScienceCast
• scite Smart Citations

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →