Reclaim Evaluation

新的“Reclaim Evaluation”揭示了语言模型的“脆弱记忆”问题

研究人员引入了“Reclaim Evaluation”来评估语言模型的记忆能力，发现保留错误结论的记忆比空记忆更具破坏性。这种“脆弱记忆”现象在七个模型中都有观察到，其中错误的记忆导致了自信的错误答案，而空记忆则导致了弃权。该研究提出了一种“源优先”策略，优先保留可重新计算的源而不是派生出的结论，这在固定预算内显著提高了可纠正性。该方法在多个已部署的记忆系统和MultiWOZ等真实对话数据上得到了验证，证明了其在记忆密集型任务中保持准…