LMEB

LMEB基准评估超越传统段落检索的长时记忆检索能力

研究人员推出了长时记忆嵌入基准（LMEB），这是一个新的评估框架，旨在评估嵌入模型在处理复杂、长时记忆检索任务方面的能力。与专注于传统段落检索的现有基准不同，LMEB包含22个数据集和193个零样本任务，涵盖了四种不同的记忆类型：情景记忆、对话记忆、语义记忆和程序记忆。对15个模型的初步评估表明，LMEB提出了一个合适的挑战，模型规模越大并不保证性能越好，并且LMEB衡量了与MTEB基准不同的能力。