Vannevar Bush

Karpathy 提出通过持久化维基实现大语言模型记忆

Andrej Karpathy 提出了一种新的大语言模型记忆方法，超越了大上下文窗口和标准的 RAG。他的概念涉及大语言模型逐步构建和维护一个持久化的、结构化的 markdown 文件维基。这个维基充当一个联想知识库，大语言模型在处理新来源时更新和交叉引用信息，有效地编译知识而不是仅仅检索它。一个名为 kb-wiki 的工具已被开发出来以实现这种模式，它在本地运行，并为代理提供搜索、添加和更新维基的命令，从而在不依赖云的情况下实现持久记忆。