ConceptSIR

新的ARCANA基准测试揭示了大型语言模型在类比推理方面的差距

研究人员推出了ARCANA，一个旨在评估大型语言模型远距离类比推理能力的新基准测试。与ARC-AGI基准测试不同，ARCANA侧重于将现实世界现象映射到抽象转换，这是一项人类能够可靠执行但当前大型语言模型却难以完成的任务。为了弥合这一性能差距，研究人员提出了一个名为ConceptSIR的框架，该框架结合了概念滑移、内省和反思，在具有挑战性的ARCANA任务上取得了改进的结果。