研究人员开发了SCHEMA,一个新颖的评估框架,旨在评估科学大型语言模型(LLM)智能体的幻觉。与将事实孤立处理的现有方法不同,SCHEMA从证据和文献中构建概念图,以理解科学知识的相互关联性。这种拓扑感知方法能够评估多步推理,并识别错误如何在复杂的知识结构中传播。SCHEMA的诊断显示,幻觉通常聚集在高连接的知识中心周围,并且模型可以通过有缺陷的推理得出正确的最终答案,这突显了仅靠最终准确性对于高风险科学应用来说是不够的。 AI
影响 该框架通过识别和减轻级联幻觉,有可能提高AI在科学研究中的可靠性。
排序理由 该集群包含一篇详细介绍AI智能体新评估框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →