研究人员开发了IndustryBench，一个旨在评估大型语言模型（LLMs）处理工业采购任务能力的新基准。这些任务通常涉及复杂的标准和安全法规。该基准包含2,049个中文条目及其翻译，结果显示即使是表现最佳的模型在准确性和安全合规性方面也存在困难，扩展推理常常导致安全关键性错误。评估方法将原始正确性与安全违规检查分开，表明安全调整会显著改变模型排名，突显了在专业领域需要更强大、更注重安全的LLM评估。 AI
影响 突出了LLM在专业工业应用中关键的安全性和准确性差距，需要新的评估方法。
排序理由 该集群描述了一篇介绍用于评估LLM的新型基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
