研究人员开发了CrisisBench,这是一个新的评估套件,旨在评估AI模型在危机咨询场景中的能力。该套件包含1000多个源自已去标识化危机对话的任务,并使用经过专家咨询师校准的AI生成的患者模型。初步评估显示,当前的GPT模型在过度共情和提问等方面表现不如人类咨询师,尽管检索增强生成模型在多轮评估中得分最高。 AI
影响 能够对LLM在心理健康支持等敏感应用进行更严格的测试,突显了当前的性能差距。
排序理由 该条目描述了一篇介绍AI模型在特定领域评估套件的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXivLabs
- CatalyzeX
- CrisisBench
- DagsHub
- generative pre-trained transformer
- Gotit.pub
- Hugging Face
- Pearson
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →