研究人员推出 C4，这是一个旨在评估多模态大语言模型 (MLLMs) 跨概念创造力的新评估框架。该框架利用中国成语（Chengyu）来测试模型从非显而易见的关联中理解和生成含义的能力。C4 评估集 (C4-Eval) 包括合成和人类创建的项目，目前的评估表明，最强的闭源 MLLMs 的准确率约为 50%，而开源模型的表现则显著较低，这凸显了当前 MLLMs 在创造性解读能力方面存在的差距。 AI
影响 这项研究可能有助于更好地评估人工智能的创造力，从而可能推动设计和人机协作等领域的发展。
排序理由 该集群描述了一篇介绍新颖的评估框架和数据集的学术论文，用于评估大语言模型的特定能力。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.06501v1 Announce Type: new Abstract: Creative capabilities of MLLMs matter in design, communication, education, and human--AI collaboration, yet remain difficult to evaluate because explicit targets and reward signals are scarce compared with accuracy-oriented tasks. C…
Creative capabilities of MLLMs matter in design, communication, education, and human--AI collaboration, yet remain difficult to evaluate because explicit targets and reward signals are scarce compared with accuracy-oriented tasks. Cross-concept understanding is a core cognitive c…