RH-Detect

新的基准RH-Detect提高了LLM中奖励破解的检测能力

研究人员推出RH-Detect，这是一个旨在提高语言模型中奖励破解检测能力的统一基准。该基准将来自十一个公共数据集的数据整合到一个通用模式中，创建了一个包含92,761行、涵盖六种行为类别的的数据集。在包括多轮工具使用轨迹在内的开放式任务上进行评估时，性能最佳的现成语言模型达到了0.962的AUROC。然而，在多轮工具使用数据集上的准确率显著下降，这表明了在实际部署监控方面存在一个关键挑战。