研究人员推出了长时记忆嵌入基准（LMEB），这是一个新的评估框架，旨在评估嵌入模型在处理复杂、长时记忆检索任务方面的能力。与专注于传统段落检索的现有基准不同，LMEB包含22个数据集和193个零样本任务，涵盖了四种不同的记忆类型：情景记忆、对话记忆、语义记忆和程序记忆。对15个模型的初步评估表明，LMEB提出了一个合适的挑战，模型规模越大并不保证性能越好，并且LMEB衡量了与MTEB基准不同的能力。 AI
影响 引入了一个新的基准，可能会推动开发更适合长期、依赖上下文的记忆检索的模型。
排序理由 该集群描述了一篇介绍用于评估AI模型基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
