DeHarm-Score

新基准SciHazard衡量大型语言模型科学安全风险

研究人员推出SciHazard，这是一个旨在评估大型语言模型（LLM）带来的科学安全风险的新基准。该基准通过将查询与现实世界危害联系起来，并采用一种称为DeHarm-Score的分解危害评分系统，来解决现有方法的局限性。DeHarm-Score评估查询危害的严重性、拒绝行为以及响应级别的风险，包括可执行性和净新风险。对31个前沿LLM和深度研究代理进行的初步基准测试显示，自主代理构成了重大的安全隐患，其DeHarm-Scores高于标准LLM。