Memory Momentum Trigger

新的Janus控制器改进了大语言模型记忆更新，提高了准确性

研究人员开发了Janus，一种插件式记忆控制器，旨在改进大语言模型（LLMs）在顺序更新过程中管理其记忆的方式。Janus决定是接受新的记忆更新还是保留现有的记忆，从而防止有用知识被覆盖或引入偏见。它采用记忆动量触发器来检测记忆更新中的显著偏差，并在混合任务集上评估新旧记忆。在各种数据集、LLMs和记忆更新器上进行测试，Janus在基础更新器上的平均准确性提高了2.7至4.6个百分点。