CAREBench

新基准CAREBench评估语言模型的儿童安全风险

研究人员开发了CAREBench，这是一个旨在评估语言模型中儿童安全风险的新基准。与以往侧重于明确的虐待材料的评估不同，CAREBench评估的是上游风险，如诱骗、欺骗、隐私侵犯和情感依赖。该基准包含十二个类别的500个提示，并由父母和临床医生进行了标注，旨在帮助AI开发者在潜在危害变得明显之前识别和解决它们。对七个前沿模型的初步评估显示，失败率从2%到58%不等，突显了当前儿童安全协议存在的重大差距。