MedHarm

新基准揭示 LLM 处理高风险医疗查询时的安全漏洞

一项名为 MedHarm 的新基准已被开发出来，用于评估大型语言模型 (LLM) 在回应高风险医疗查询时的安全性。该基准包含 1,100 个基于医学的、涵盖 10 个关键安全类别的查询。对 15 种不同 LLM 的测试表明，即使是那些看似经过对齐和医学微调的模型，仍然可能产生不安全或有害的响应，这表明医疗安全需要超越一般能力的特定压力测试。