研究人员推出了 ReTurn,这是一个旨在评估多模态 AI 模型选择性使用对话历史能力的新基准。该基准包含 7,000 个任务,用于测试模型在保留相关历史问题同时丢弃过时答案的能力,或在存在冲突的新信息时,利用历史证据回答当前问题的能力。对 13 个模型的初步评估显示,当模型从直接输入过渡到对话设置时,准确性显著下降,这表明在有效管理历史上下文方面存在挑战。 AI
影响 该基准有望推动 AI 模型在对话环境中处理上下文和记忆能力方面的改进。
排序理由 该项目是一篇介绍用于评估 AI 模型的新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →