MemoryAthena

MemoryAthena系统探索为语言模型生成记忆

研究人员开发了MemoryAthena，一个新颖的系统，它探索在语言模型中使用除检索记忆之外的生成记忆。该系统采用三个路径：直接从显式记忆表（Engram）检索，从这些检索到的线索生成，以及直接从模型的内部状态生成。MemoryAthena学会选择性地干预生成记忆，从而提高问答和一般自然语言处理任务的性能。该系统（不包括冻结的骨干模型）包含约2.01亿个参数，并证明生成记忆可以有效地补充直接检索。