一项新的基准测试PediatricSafetyBench-v2,评估了四种消费级AI系统(GPT-4o mini、Gemini 2.0 Flash、Claude 3.5 Haiku和Llama-3.1:8b)在响应儿科健康咨询时维护安全边界的能力。研究发现,这些系统总体表现良好,总体安全适宜率为95.5%。有趣的是,对抗性照料者压力,特别是虚假专业知识声明,并未显著降低安全评分,在某些情况下甚至有所提高,而情绪升级则导致了最高安全评分。 AI
影响 这项研究为评估儿科健康等敏感领域的AI安全性提供了一个新基准,可能影响未来的开发和部署指南。
排序理由 该集群包含一篇详细介绍新基准和AI系统评估的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Claude 3.5 Haiku
- Gemini 2.0 Flash
- GPT-4o mini
- HealthCareMagic-100k-en
- Llama-3.1:8b
- PediatricSafetyBench-v2
- Vahideh Zolfaghari
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →