SoT-LLM

新的基于大型语言模型的系统可自动评估创意

研究人员开发了CreaEval，一个专为复杂、多步任务设计的新型自动化创意评估系统。该系统将传统的“大型语言模型即评委”方法分解为两个不同的阶段：增强记忆的分析和基于证据的评判。分析阶段使用最先进的大型语言模型，将多步响应转换为结构化的评估证据，并整合跨步记忆。然后，评判阶段利用提取的证据进行评判，而无需直接访问原始响应。实验表明，CreaEval在各种创意任务上的评估性能得到了显著提升。