Axis-LoRA

新型Axis-LoRA适配器增强LLM个人记忆检索能力

研究人员开发了Axis-LoRA，这是一种旨在改进从大型语言模型中检索个人记忆的新型适配器。目前使用冻结嵌入模型的方法难以区分基于时间、地点、人物和事件的记忆。Axis-LoRA通过在嵌入模型中集成四个专门的LoRA分支来解决这个问题，每个分支都针对特定的记忆轴进行调整，并通过基于查询的门控进行组合。这种方法在包括LongMemEval和ATM-Bench在内的多个基准测试中提高了检索准确性，且参数训练量极少。