Changyi Li

新的基准测试ReasoningShield改进了大型语言模型推理轨迹的安全检测

研究人员开发了ReasoningShield，这是一个新的基准测试和模型套件，旨在改进大型推理模型（LRMs）中推理轨迹的安全检测。现有的审核工具难以处理思维链（CoT）推理，表现出显著的性能下降。ReasoningShield通过提供一个包含9.2K个带注释的CoT对的数据集和轻量级模型来解决这个问题，这些模型达到了91.8%的F1分数，优于LlamaGuard-4和GPT-4o等当前领先的工具。