MuSeToM

新基准MuSeToM测试LLM在心智理论中的信念修正能力

研究人员推出了MuSeToM，这是一个旨在评估大型语言模型（LLM）在心智理论（ToM）背景下的信念修正能力的新基准。该基准包含2,415个实例，源自BigToM和OpenToM，评估LLM是否能确定何时感知证据需要信念的改变，并推断更新后的信念状态。使用MuSeToM的评估显示，当前最先进的LLM通常能检测到潜在的信念变化，但在准确识别修正后的信念方面存在困难，有时会过分强调感知上突出但认知上较弱的线索。