IndustryBench

新基准揭示大型语言模型在工业安全和标准方面存在困难

研究人员开发了IndustryBench，一个旨在评估大型语言模型（LLMs）处理工业采购任务能力的新基准。这些任务通常涉及复杂的标准和安全法规。该基准包含2,049个中文条目及其翻译，结果显示即使是表现最佳的模型在准确性和安全合规性方面也存在困难，扩展推理常常导致安全关键性错误。评估方法将原始正确性与安全违规检查分开，表明安全调整会显著改变模型排名，突显了在专业领域需要更强大、更注重安全的LLM评估。