CresOWLve

新的CresOWLve基准揭示大型语言模型在创造性问题解决方面存在困难

研究人员推出CresOWLve，一个旨在评估大型语言模型创造性问题解决能力的新基准。该基准使用2,061个基于真实世界知识的示例，涵盖五个难度级别，以评估模型在多大程度上能够结合逻辑推理、横向思维和常识知识。对前沿大型语言模型的初步评估表明，尽管模型能够检索相关信息，但它们在解决复杂问题所需的创造性整合方面存在显著困难，与事实回忆相比，在创造性任务上的表现下降高达17%。