新的EYT-Bench评估LLM对话，揭示意图追踪的差距

一个名为EYT-Bench的新基准已被开发出来，用于评估大型语言模型（LLM）的多轮对话能力，重点关注角色一致性、意图追踪和目标完成。该基准采用了解耦的设计，包括用户模拟器、目标模型和LLM评判，并从人工策划的语料库中提取角色以最小化偏见。初步评估显示，虽然当前模型在主观对话方面表现相似，但在客观意图追踪方面存在显著差异。研究还强调，推理能力可以改善客观追踪，角色格式会影响性能，并且大多数模型表现出预热效应，其中GPT-5.5是一个显著的例外。 AI

影响 该基准通过突出LLM对话系统中意图追踪和角色一致性方面的不足，有望推动其改进。

排序理由 该集群包含一篇介绍LLM新评估基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• arXiv
• DeepSeek V4-Pro
• EYT-Bench
• Gemma 4
• GPT-5.5
• Nemotron-Personas-USA
• PersonaMem-v2
• tau-bench

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →