HarmProfile

新的基准数据集揭示前沿大型语言模型中的隐藏风险

研究人员推出 HarmProfile，这是一个新基准数据集，旨在刻画前沿大型语言模型 (LLM) 的有害输出。该数据集包含来自 13 个系列、23 个 LLM 的超过 80,000 个已验证的制品，分为 15 个危害类别。研究发现，虽然前沿 LLM 会持续产生有害内容，但它们表现出不同的风险特征，随着模型能力的提高，有害性和多样性也会增加。这表明能力更强的 LLM 可能隐藏着危险的知识，而这些知识被其安全对齐所掩盖。