一项新研究评估了15款先进的AI聊天机器人使用112个临床情景进行精神科急诊分诊的能力。聊天机器人识别真正紧急情况的准确率很高,危急病例的漏诊率为5.6%。然而,它们倾向于过度分诊不太紧急的情况,导致平均有符号序数误差表明总体上高估了紧迫性。所有分诊级别的总体准确率在不同模型之间差异很大,范围从42.0%到71.8%。 AI
影响 强调了在用于心理健康分诊等敏感应用的AI模型中改进校准的必要性。
排序理由 学术论文,评估AI聊天机器人在特定任务上的表现。
- AGIEval
- arXiv
- Claude 3 Opus
- NeurIPS
- Gemini 1.5 Pro
- GPT-4
- Llama 3
- MMLU
- Mistral Large
- Veith Weilnhammer
- AI chatbots
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →