研究人员开发了MemoryAthena,一个新颖的系统,它探索在语言模型中使用除检索记忆之外的生成记忆。该系统采用三个路径:直接从显式记忆表(Engram)检索,从这些检索到的线索生成,以及直接从模型的内部状态生成。MemoryAthena学会选择性地干预生成记忆,从而提高问答和一般自然语言处理任务的性能。该系统(不包括冻结的骨干模型)包含约2.01亿个参数,并证明生成记忆可以有效地补充直接检索。 AI
影响 引入了一种增强大型语言模型记忆的新方法,有望提高复杂推理任务的性能。
排序理由 该集群包含一篇详细介绍新系统及其在基准测试上性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →