研究人员开发了模式连贯性清单(SCI),一种新工具,用于衡量语言模型被赋予的信念是否真正组织了其行为,而不仅仅是采纳一种情绪。SCI包含96个强制选择题,旨在根据贝克认知模型评估信念组织。跨多个语言模型和参数规模的验证研究表明,SCI能够准确识别模型的核心信念,人类评分者准确率达到79.5%。 AI
影响 提供了一种评估大型语言模型(LLMs)信念组织深度的方法,这对于它们在模拟患者等敏感应用中的使用至关重要。
排序理由 该集群包含一篇详细介绍语言模型新测量工具的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →