研究人员开发了一种新的人本工具,称为系统幻觉量表 (SHS),用于评估用户对大型语言模型可靠性的感知。SHS 借鉴了现有的可用性量表,使用十个李克特量表项来衡量五个维度上的感知可靠性:事实准确性、来源可靠性、逻辑连贯性、呈现欺骗性以及对用户指导的响应性。一项包含 193 名参与者的验证研究表明,SHS 是一个清晰且一致的工具,平均完成时间为 4.2 分钟,并揭示用户认为大型语言模型在来源可追溯性和框架方面比事实准确性更容易出现漏洞。 AI
影响 提供了一种评估大型语言模型感知可靠性的新方法,侧重于用户体验而非原始准确性。
排序理由 该集群描述了一篇介绍用于评估大型语言模型可靠性新量表的新学术论文。
- arXiv
- Heimo Müller
- Hugging Face
- Large Language Models
- Siemens Healthineers
- System Causability Scales
- System Hallucination Scale
- System Usability Scale
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →