新的马尔可夫矩阵方法可在不遗忘的情况下扩展LLM知识

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-07 04:00

研究人员引入了一个新颖的框架，通过将知识扩展建模为马尔可夫过程来持续更新大型语言模型（LLM）。该方法将模型记忆表示为转移矩阵，允许通过扩展状态空间来整合新知识，而不会发生灾难性遗忘。提出的令牌到字典映射策略只需要最少的参数更新，并且已被理论证明是样本高效的，实验结果也验证了其有效性。 AI

影响引入了一种有效扩展LLM知识的新方法，有可能降低计算成本并提高模型适应性。

排序理由学术论文，介绍了一种用于LLM知识扩展的新框架。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li · 2026-05-07 04:00

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

arXiv:2605.04308v1 Announce Type: new Abstract: Continual incorporation of new knowledge is essential for the long-term evolution of large language models (LLMs). Existing approaches typically rely on parameter-update algorithms to mitigate catastrophic forgetting, yet they suffe…