一位 r/OpenAI subreddit 的用户正在寻求用于评估聊天模型性能的数据集和基准的建议。他们特别关注衡量多轮对话准确性和内存管理，并指出 LongBench、NIAH 和 RULER 等现有基准可能已过时。该用户旨在识别当前最先进的方法并找出自己工作中的薄弱环节，目前不包括基于代理的评估。 AI
影响 此次查询凸显了在开发对话式 AI 过程中对稳健评估指标和数据集的持续需求。
排序理由 关于评估 AI 模型的 subreddit 上的用户查询。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>I am looking for a dataset or benchmark for chat evaluation. What is currently available that can measure multi-turn accuracy and memory management? I have used older benchmarks like LongBench, NIAH, and RULER, but I am not sure what is currently…