MedFailBench

新的MedFailBench基准检查医学人工智能安全边界

研究人员开发了MedFailBench，一个旨在检查医学人工智能系统安全边界的新型开源基准。与关注正确答案的现有基准不同，MedFailBench按严重程度和特定的安全门故障（如漏报升级或捏造证据）对人工智能错误进行分类。当前版本包含44个由临床医生审查的合成案例，并根据宽松的许可协议提供，Hugging Face上有一个预览排行榜。