EYT-Bench

新的EYT-Bench评估LLM对话，揭示意图追踪的差距

一个名为EYT-Bench的新基准已被开发出来，用于评估大型语言模型（LLM）的多轮对话能力，重点关注角色一致性、意图追踪和目标完成。该基准采用了解耦的设计，包括用户模拟器、目标模型和LLM评判，并从人工策划的语料库中提取角色以最小化偏见。初步评估显示，虽然当前模型在主观对话方面表现相似，但在客观意图追踪方面存在显著差异。研究还强调，推理能力可以改善客观追踪，角色格式会影响性能，并且大多数模型表现出预热效应，其中GPT-5.5是一个显著的例外。