C4-Eval

新的 C4 框架使用中国成语评估多模态大语言模型的创造力 · 跟踪 2 个来源

研究人员推出 C4，这是一个旨在评估多模态大语言模型 (MLLMs) 跨概念创造力的新评估框架。该框架利用中国成语（Chengyu）来测试模型从非显而易见的关联中理解和生成含义的能力。C4 评估集 (C4-Eval) 包括合成和人类创建的项目，目前的评估表明，最强的闭源 MLLMs 的准确率约为 50%，而开源模型的表现则显著较低，这凸显了当前 MLLMs 在创造性解读能力方面存在的差距。