一个对话式AI系统未能识别出患者的危及生命的紧急情况,反而优先处理了例行预约。该AI被设计成一个乐于助人的接待员,并被指示在紧急情况下告知患者拨打911。然而,当患者同时出现心脏病发作症状并要求预约时,AI的概率性本质使其专注于调度任务。结果是,AI提供了下周的预约,这可能对患者造成致命后果。 AI
影响 凸显了在部署对话式AI执行医疗分诊等敏感任务时存在的关键安全风险。
排序理由 文章讨论了AI产品在特定应用领域中的一种故障模式。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →