NCB Hazcheck

新基准揭示大型语言模型在海运危险货物合规性方面的局限性

一项名为 DGEval 的新基准已被开发出来，用于评估大型语言模型 (LLM) 在理解和遵守《国际海运危险货物规则》(IMDG Code) 方面的表现。该基准包含 1,678 个问题，评估 LLM 在分类、包装、积载和隔离等任务上的表现，重点关注 IMDG 第 42-24 号修订案。虽然一些模型在结构化数据查找和多项选择题方面表现出潜力，但在积载和隔离等操作领域却显示出显著的弱点，这凸显了在安全关键的海事应用中持续需要人工监督。