Shengyue Guan

Survey details LLM agent evaluation for multi-turn conversations

一篇新发表在arXiv上的调查论文详细介绍了用于大型语言模型（LLM）驱动的代理的多轮对话评估方法。该论文采用受PRISMA启发的框架，系统地回顾了近250篇学术文献，以确定该领域的最新进展。它提出了两个分类体系：一个定义了要评估的方面，例如任务完成度和用户体验；另一个概述了如何评估，包括基于注释的方法、自动化指标和混合策略。