Ishita Kakkar

新基准HarmThoughts旨在对LLM推理中的细粒度危害进行检测

研究人员推出了一款名为HarmThoughts的新基准，旨在检测大型语言模型推理过程中细粒度的、句子级别的有害行为。现有的安全评估通常忽略危害是如何在多步推理过程中产生的，只关注最终输出。HarmThoughts通过使用16个行为类别的分类法来标注来自1000多个推理轨迹的超过56,000个句子，从而解决了这一问题。该基准旨在通过分析推理步骤如何促成或缓解有害结果，并评估不同监控方法的有效性，来改进安全监控、干预和故障诊断。