DiagnosticIQ

新基准揭示LLM在工业维护任务中的脆弱性

研究人员推出了DiagnosticIQ，这是一个旨在评估大型语言模型（LLM）根据符号规则推荐工业维护行动的新基准。该基准包含6,690个多项选择题，这些题目源自专家编写的、涵盖16种不同资产类型的规则-行动对。初步研究结果表明，虽然顶级LLM在基本的规则到行动翻译方面表现良好，但在面对规则变化、条件反转或增加干扰项时，它们会表现出脆弱性，这表明它们在处理复杂、真实的工业维护场景方面存在局限性。