研究人员推出CresOWLve，一个旨在评估大型语言模型创造性问题解决能力的新基准。该基准使用2,061个基于真实世界知识的示例，涵盖五个难度级别，以评估模型在多大程度上能够结合逻辑推理、横向思维和常识知识。对前沿大型语言模型的初步评估表明，尽管模型能够检索相关信息，但它们在解决复杂问题所需的创造性整合方面存在显著困难，与事实回忆相比，在创造性任务上的表现下降高达17%。 AI
影响 突出了当前大型语言模型的一个关键局限性，表明需要改进模型创造性地综合知识的能力。
排序理由 该集群描述了一篇介绍用于评估大型语言模型能力的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
