研究人员推出Ekphrasis，这是一个旨在评估纯文本语言模型视觉创意构思能力的新基准。该基准衡量模型生成有用、富有表现力和新颖的文本视觉计划的能力，并将这些品质与单纯的流畅性区分开来。Ekphrasis包含跨越抽象、组合、转换和适应的400个任务，使用成对比较和Bradley-Terry模型来汇总偏好并识别群体陈词滥调。一项跨模态基础研究表明，即使在忠实渲染和盲图级偏好判断后，Ekphrasis确定的视觉创意构思能力排序在很大程度上仍然成立，这表明其在评估超越散文质量的视觉创意构思方面的有效性。 AI
影响 该基准可能有助于对大型语言模型超越文本生成的创意潜力进行更细致的评估。
排序理由 该集群包含一篇学术论文，介绍了一个用于评估语言模型的新基准和方法。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
