The Resistance: Avalon

新基准使用非对称博弈机制评估LLM心智理论

研究人员开发了Avalon-ToM-Bench，这是一个旨在评估大型语言模型（LLM）细粒度心智理论（ToM）能力的新基准。该基准利用了游戏《抵抗组织：阿瓦隆》的非对称信息机制，侧重于心理状态推理的具体方面，而非端到端的游戏玩法。对28个LLM进行的初步测试表明，模型在社交推理和表达推断出的心理状态方面比理解游戏规则或拥有领域知识更具挑战性。研究结果还表明，专门的推理训练比仅仅增加推理时间的审议更能有效地提高ToM。